Git Stars Git Stars

#llm-inference リポジトリ

202
リポジトリ総数
1.0M
合計スター数
5,180
リポジトリあたりの平均スター数

リポジトリ合計202件

51
turboderp-org/exllamav2

最新のコンシューマ向けGPUでLLMをローカル実行するための高速推論ライブラリ

turboderp-org
⭐ 4,653 Python 👤 turboderp-org Organization 🕐 更新日時 2026-03-04 📅 作成日 2023-08-30
52
openai/harmony

gpt-ossと連携するharmony応答形式用のレンダラー

openai
⭐ 4,548 Rust 👤 openai Organization 🕐 更新日時 2026-04-08 📅 作成日 2025-07-31
53
CalvinXKY/InfraTech

AIインフラ知識とコード練習の共有:PyTorch、vLLM/SGLang、slime/vimeフレームワーク入門⚡️、パフォーマンス加速🚀、大規模モデルの基礎🧠、AIソフトウェアとハードウェア🔧など

CalvinXKY
⭐ 4,411 Jupyter Notebook 👤 CalvinXKY User 🕐 更新日時 2026-09-20 📅 作成日 2025-11-14
54
algorithmicsuperintelligence/optillm

LLMの推論プロキシの最適化

algorithmicsuperintelligence
⭐ 4,343 Python 👤 algorithmicsuperintelligence Organization 🕐 更新日時 2026-11-16 📅 作成日 2024-08-22
55
NVIDIA/GenerativeAIExamples

マイクロサービスアーキテクチャとインフラストラクチャを加速するために最適化された生成AIリファレンスワークフロー。

NVIDIA
⭐ 4,235 Jupyter Notebook 👤 NVIDIA Organization 🕐 更新日時 2026-11-06 📅 作成日 2023-10-19
56
raullenchai/Rapid-MLX

Rapid-MLX は、Apple Silicon 向けのオープンソース(Apache 2.0)LLM 推論サーバーです。MLX を基盤とし、OpenAI および Anthropic と互換性があり、コーディングエージェント向けの信頼性の高いツール呼び出しに重点を置いています。同じ重みを使用した場合、Apple の MLX(mlx-lm)より最大 4 倍高速です。

raullenchai
⭐ 4,168 Python 👤 raullenchai User 🕐 更新日時 2026-11-21 📅 作成日 2026-02-25
57
predibase/lorax

数千のファインチューニングされたLLMに拡張されるマルチLoRA推論サーバー

predibase
⭐ 3,836 Python 👤 predibase Organization 🕐 更新日時 2026-05-28 📅 作成日 2023-10-20
58
hemansnation/AI-Engineer-Headquarters

ストーリーとモデルを構築するための科学的方法、プロセス、アルゴリズム、およびシステムのコレクション。

hemansnation
⭐ 3,782 Jupyter Notebook 👤 hemansnation User 🕐 更新日時 2026-10-28 📅 作成日 2022-03-29
59
amitshekhariitbhu/ai-engineering-interview-questions

AIエンジニアリング面接のチートシート – 質問と回答。

amitshekhariitbhu
⭐ 3,707 Markdown 👤 amitshekhariitbhu User 🕐 更新日時 2026-11-21 📅 作成日 2026-03-21
60
xjdr-alt/entropix

エントロピーベースのサンプリングと並列CoTデコーディング

xjdr-alt
⭐ 3,434 Python 👤 xjdr-alt User 🕐 更新日時 2024-11-13 📅 作成日 2024-10-03
61
ikawrakow/ik_llama.cpp

追加のSOTAクォントとパフォーマンス改善を備えたllama.cppフォーク

ikawrakow
⭐ 3,411 C++ 👤 ikawrakow User 🕐 更新日時 2026-11-21 📅 作成日 2024-06-27
⭐ 3,377 Python 👤 danielgross User 🕐 更新日時 2024-02-25 📅 作成日 2023-10-01
63
b4rtaz/distributed-llama

分散型LLM推論。ホームデバイスを強力なクラスターに接続してLLM推論を高速化します。デバイスが多いほど、推論は速くなります。

b4rtaz
⭐ 3,141 C++ 👤 b4rtaz User 🕐 更新日時 2026-11-17 📅 作成日 2023-12-04
64
mw00/project-maya

GLM-5.3(744B)、DeepSeek-V4.1-Flash(748B)、MiniMax-M3.1-Flash(428B)、GLM-5.3-Flash(321B)、Hy4-Flash(220B)を自分のGPUで実行できます。8GBのVRAMから対応し、NVIDIAとAMDをサポート。1つのダッシュボードと、OpenAIおよびAnthropic互換APIを利用できます。

mw00
⭐ 3,140 C++ 👤 mw00 User 🕐 更新日時 2026-11-21 📅 作成日 2026-10-06
65
spiceai/spiceai

運用データベースにリアルタイム分析ノードを追加します。Spiceは、データに基づいたAIアプリやエージェントのための、Rustで構築されたポータブルで高速なSQLクエリ、検索、およびLLM推論エンジンです。

spiceai
⭐ 3,132 Rust 👤 spiceai Organization 🕐 更新日時 2026-11-21 📅 作成日 2021-08-08
66
qwopqwop200/GPTQ-for-LLaMa

GPTQを使用したLLaMAの4ビット量子化

qwopqwop200
⭐ 3,077 Python 👤 qwopqwop200 User 🕐 更新日時 2024-07-13 📅 作成日 2023-03-06
67
luminal-ai/luminal

光速での推論。

luminal-ai
⭐ 3,064 Rust 👤 luminal-ai Organization 🕐 更新日時 2026-11-19 📅 作成日 2023-07-18
69
syv-ai/HyperQwen

実際に所有しているGPUで、大規模なQwenモデルを高速にサーブします。vLLMを使い、24 GBのカード1枚でQwen3.8-27Bを実行:単一ユーザーで127 tok/s(回答がプロンプトを引用する場合は381 tok/s)、64並列で約1,035 tok/s、コンテキスト長は150k~262k。vLLMのパッチ、再量子化パイプライン、ベンチマーク。

syv-ai
⭐ 2,778 Python 👤 syv-ai Organization 🕐 更新日時 2026-11-10 📅 作成日 2026-08-15
70
youssofal/MTPLX

MacでQwen 3.8 Flash Next、Qwen 3.8 27B、Ternary Bonsai 2 27Bを実行する最速の方法:M5 Max上のOpenCodeで125トークン/秒、16 GBのMacで27Bモデルを実行可能。Apple Silicon上でネイティブMTP投機的デコードに対応し、どの温度設定でも正確です。OpenAIおよびAnthropic互換のローカルサーバー。

youssofal
⭐ 2,729 Python 👤 youssofal User 🕐 更新日時 2026-11-21 📅 作成日 2026-05-02
71
vllm-project/production-stack

コミュニティ主導のパフォーマンス最適化によるK8Sネイティブのクラスター全体展開のためのvLLM参照システム

vllm-project
⭐ 2,729 Python 👤 vllm-project Organization 🕐 更新日時 2026-11-07 📅 作成日 2025-01-21
72
FasterDecoding/Medusa

Medusa: 複数のデコーディングヘッドでLLM生成を高速化するシンプルなフレームワーク

FasterDecoding
⭐ 2,684 Jupyter Notebook 👤 FasterDecoding Organization 🕐 更新日時 2024-06-25 📅 作成日 2023-09-10
73
mirage-project/mirage

Mirage Persistent Kernel: LLMをMegaKernelにコンパイル

mirage-project
⭐ 2,625 Cuda 👤 mirage-project Organization 🕐 更新日時 2026-11-21 📅 作成日 2024-05-08
74
incoai/splash

モデルを中心に構築された、Appleシリコン向けのローカル推論エンジン。

incoai
⭐ 2,591 C++ 👤 incoai Organization 🕐 更新日時 2026-11-17 📅 作成日 2026-09-18
75
Nano-Collective/nanocoder

ターミナル向けのオープンなコーディングエージェント。企業ではなくコミュニティの集合体によって構築されています。独自のモデルを持ち込み、コードを自分のマシンに保持し、誰にも縛られることはありません。

Nano-Collective
⭐ 2,582 TypeScript 👤 Nano-Collective Organization 🕐 更新日時 2026-11-21 📅 作成日 2025-07-30
76
SafeAILab/EAGLE

EAGLE-1 (ICML'24)、EAGLE-2 (EMNLP'24)、EAGLE-3 (NeurIPS'25) の公式実装。

SafeAILab
⭐ 2,581 Python 👤 SafeAILab Organization 🕐 更新日時 2026-02-20 📅 作成日 2023-12-07
77
databricks/dbrx

Databricksによって開発された大規模言語モデルであるDBRXのコード例とリソース

databricks
⭐ 2,578 Python 👤 databricks Organization 🕐 更新日時 2024-05-01 📅 作成日 2024-03-26
78
Jittor/JittorLLMs

Jito大規模モデル推論ライブラリは、高性能、低構成要件、優れた中国語サポート、移植性などの特徴を備えています。

Jittor
⭐ 2,419 Python 👤 Jittor User 🕐 更新日時 2025-02-22 📅 作成日 2023-04-02
79
ashhart/TensorFold

Metal、CUDA、Vulkan 向けのLLM推論エンジン。

ashhart
⭐ 2,364 Zig 👤 ashhart User 🕐 更新日時 2026-11-21 📅 作成日 2026-06-19
80
datawhalechina/zero-to-sglang

LLM推論に関するSGLang x Datawhale公式コース:推論を理解し、ゼロからミニSGLangを構築し、実際のSGLangソースコードを読んで、初めてのPRを提出しましょう。英語版と中国語版を提供しています。

datawhalechina
⭐ 2,306 Python 👤 datawhalechina Organization 🕐 更新日時 2026-11-17 📅 作成日 2026-08-27
82
cfregly/ai-performance-engineering

O'Reilly AI Systems Performance Engineeringのためのコード、ラボ、リソース:GPU最適化、分散トレーニング、推論スケーリング、フルスタックチューニング。

cfregly
⭐ 2,233 Python 👤 cfregly User 🕐 更新日時 2026-11-19 📅 作成日 2025-04-21
83
neuron-core/neuron-ai

PHPエコシステムのAgenticフレームワーク。本番環境に対応したAI駆動型アプリケーションを構築するためのものです。コンポーネント(LLM、ツール、ベクトルデータベース、メモリ)を、データやUIと対話するエージェントに接続します。

neuron-core
⭐ 2,179 PHP 👤 neuron-core Organization 🕐 更新日時 2026-11-20 📅 作成日 2025-03-02
84
pallavi-shekhar/ai-engineering-interview-questions-company-wise

大手AI企業のAIエンジニア面接対策チートシート――質問と回答。

pallavi-shekhar
⭐ 2,098 Markdown 👤 pallavi-shekhar User 🕐 更新日時 2026-11-21 📅 作成日 2026-09-19
85
microsoft/aici

AICI: (Wasm)プログラムとしてのプロンプト

microsoft
⭐ 2,077 Rust 👤 microsoft Organization 🕐 更新日時 2025-01-22 📅 作成日 2023-09-26
86
SemiAnalysisAI/InferenceX

オープンソース推論研究プラットフォーム

SemiAnalysisAI
⭐ 2,074 Python 👤 SemiAnalysisAI Organization 🕐 更新日時 2026-11-21 📅 作成日 2025-07-12
87
ovg-project/kvcached

動的GPU共有と、その先を見据えた仮想化弾性KVキャッシュ

ovg-project
⭐ 2,051 Python 👤 ovg-project Organization 🕐 更新日時 2026-11-20 📅 作成日 2025-05-27
88
AtomicBot-ai/Atomic-Chat

エージェント向けのローカルAIアプリおよび推論エンジン。オープンウェイトLLMをローカルで実行 — プライベート、PC上で100%オフライン。Discordに参加してください: https://discord.com/invite/8wGSsvmg4V

AtomicBot-ai
⭐ 2,040 TypeScript 👤 AtomicBot-ai Organization 🕐 更新日時 2026-11-19 📅 作成日 2026-03-31
89
kimjammer/Neuro

7日間で作成されたNeuro-Samaの再現。

kimjammer
⭐ 1,960 Python 👤 kimjammer User 🕐 更新日時 2025-01-17 📅 作成日 2024-01-07
90
liltom-eth/llama2-webui

GPUまたはCPUで、どこからでも(Linux/Windows/Mac)Gradio UIを使用してLlama 2をローカルで実行します。生成エージェント/アプリに`llama2-wrapper`をローカルllama2バックエンドとして使用します。

liltom-eth
⭐ 1,954 Jupyter Notebook 👤 liltom-eth User 🕐 更新日時 2024-03-22 📅 作成日 2023-07-20
91
tile-ai/TileRT

超低遅延LLM推論のためのタイルベースのランタイム

tile-ai
⭐ 1,906 Python 👤 tile-ai Organization 🕐 更新日時 2026-09-24 📅 作成日 2025-11-12
92
XiongjieDai/GPU-Benchmarks-on-LLM-Inference

大規模言語モデル推論のための複数のNVIDIA GPUまたはApple Silicon?

XiongjieDai
⭐ 1,862 Jupyter Notebook 👤 XiongjieDai User 🕐 更新日時 2024-05-13 📅 作成日 2023-07-19
93
beam-cloud/beta9

超高速サーバーレスGPU推論、サンドボックス、バックグラウンドジョブ

beam-cloud
⭐ 1,858 Go 👤 beam-cloud Organization 🕐 更新日時 2026-11-20 📅 作成日 2023-11-15
94
turboderp-org/exllamav3

最新のコンシューマー向けGPUでLLMをローカルで実行するための最適化された量子化および推論ライブラリ

turboderp-org
⭐ 1,853 Python 👤 turboderp-org Organization 🕐 更新日時 2026-11-19 📅 作成日 2025-04-06
95
vllm-project/guidellm

実際の推論ニーズに合わせてLLMデプロイメントを評価および強化する

vllm-project
⭐ 1,800 Python 👤 vllm-project Organization 🕐 更新日時 2026-11-21 📅 作成日 2024-05-29
96
software-mansion/react-native-executorch

PyTorch の ExecuTorch ランタイムを基盤とする、React Native 向けの高性能かつプライバシー重視のオンデバイス AI 推論ライブラリ

software-mansion
⭐ 1,794 TypeScript 👤 software-mansion Organization 🕐 更新日時 2026-11-20 📅 作成日 2024-10-16
97
janhq/awesome-local-ai

ローカルAIツールの素晴らしいリポジトリ

janhq
⭐ 1,791 👤 janhq Organization 🕐 更新日時 2024-11-13 📅 作成日 2023-09-06
99
LlamaEdge/LlamaEdge

ローカルまたはエッジでカスタマイズおよびファインチューニングされたLLMを実行するための最も簡単で最速の方法

LlamaEdge
⭐ 1,665 Rust 👤 LlamaEdge Organization 🕐 更新日時 2026-02-08 📅 作成日 2023-10-09
100
Nutlope/turboseek

PerplexityにインスパイアされたAI検索エンジン

Nutlope
⭐ 1,660 TypeScript 👤 Nutlope User 🕐 更新日時 2026-10-23 📅 作成日 2024-05-26