Git Stars Git Stars

#llm-inference リポジトリ

202
リポジトリ総数
1.0M
合計スター数
5,180
リポジトリあたりの平均スター数

リポジトリ合計202件

151
nace-ai/kapitsa

Qwen と Nemotron に最適化された、Apple Silicon 向けの超高速推論エンジン。OpenAI と Anthropic の API に対応。nace.ai のチームが開発。

nace-ai
⭐ 840 C++ 👤 nace-ai Organization 🕐 更新日時 2026-11-21 📅 作成日 2026-10-16
152
warpfront/hipfire

Rustで書かれたRDNAネイティブのLLM推論エンジン。

warpfront
⭐ 826 Rust 👤 warpfront Organization 🕐 更新日時 2026-11-21 📅 作成日 2026-03-21
153
mukel/llama3.java

純粋なJavaでのLlama 3+推論

mukel
⭐ 818 Java 👤 mukel User 🕐 更新日時 2026-04-24 📅 作成日 2024-04-25
154
vince-lam/awesome-local-llms

互換性のあるオープンソースのローカルLLMプロジェクトを指標に基づいて比較し、人気度とアクティビティを評価します。

vince-lam
⭐ 816 Python 👤 vince-lam User 🕐 更新日時 2026-11-16 📅 作成日 2024-02-29
155
ARahim3/kaggle-tpu-lab

無料の Kaggle TPU v5e-8 上で動作する最先端クラスのオープンモデル:GLM-5.3-Flash 320B MoE(約165 tok/s、独自の JAX エンジン使用)と Qwen3.8-27B bf16(約130 tok/s)。262k コンテキスト、プレフィックスキャッシュに対応。Claude Code、Codex、opencode、pi で利用できます。

ARahim3
⭐ 812 Python 👤 ARahim3 User 🕐 更新日時 2026-10-06 📅 作成日 2026-08-31
156
tetherto/qvac

オープンソースのローカルAI SDK — クラウドもAPIキーも不要で、デバイス上でAIを実行できます。GGUF、RAG、画像・音楽・動画生成、音声テキスト変換、P2P推論などに対応。クロスプラットフォーム:Linux、macOS、Windows、Android、iOS。

tetherto
⭐ 806 TypeScript 👤 tetherto Organization 🕐 更新日時 2026-11-21 📅 作成日 2026-01-03
157
SimpleBerry/LLaMA-O1

大規模推論モデル

SimpleBerry
⭐ 806 Python 👤 SimpleBerry Organization 🕐 更新日時 2024-12-03 📅 作成日 2024-10-10
158
D-Keqi/mtla

MTLA: Multi-head Temporal Latent Attention

D-Keqi
⭐ 761 Python 👤 D-Keqi User 🕐 更新日時 2025-10-06 📅 作成日 2025-05-19
159
microsoft/BitBLAS

BitBLASは、混合精度行列乗算をサポートするライブラリであり、特に量子化LLMのデプロイメントを対象としています。

microsoft
⭐ 751 Python 👤 microsoft Organization 🕐 更新日時 2025-08-06 📅 作成日 2024-02-23
160
pegainfer-project/pegainfer

純粋な Rust + CUDA の LLM 推論エンジン — PyTorch 不要、OpenAI 互換、Qwen3 から Kimi-K2 まで対応

pegainfer-project
⭐ 748 Rust 👤 pegainfer-project Organization 🕐 更新日時 2026-11-21 📅 作成日 2026-02-17
161
ARahim3/mlx-dspark

Apple Silicon上でLLMデコードを最大4倍高速化、ロスレス。DeepSeekのDSparkとz-labのDFlashによる投機的デコーディングのネイティブMLX移植版 — Gemma-4、Qwen3.8、Muse-Glimmer、Nemotron、LFM2.5、Ornith-1.0、三値のBonsai-27Bに対応。

ARahim3
⭐ 743 Python 👤 ARahim3 User 🕐 更新日時 2026-11-08 📅 作成日 2026-06-29
162
Avarok-Cybersecurity/atlas

純粋なRust推論エンジン

Avarok-Cybersecurity
⭐ 737 Rust 👤 Avarok-Cybersecurity Organization 🕐 更新日時 2026-11-16 📅 作成日 2026-05-05
163
ghimiresunil/LLM-PowerHouse-A-Curated-Guide-for-Large-Language-Models-with-Custom-Training-and-Inferencing

LLM-PowerHouse: カスタムトレーニングと推論のための、厳選されたチュートリアル、ベストプラクティス、すぐに使えるコードを通じてLLMの可能性を解き放ちます。

ghimiresunil
⭐ 734 Jupyter Notebook 👤 ghimiresunil User 🕐 更新日時 2026-03-13 📅 作成日 2023-05-28
164
stoyan-stoyanov/llmflows

LLMFlows - シンプル、明示的、透明なLLMアプリ

stoyan-stoyanov
⭐ 706 Python 👤 stoyan-stoyanov User 🕐 更新日時 2025-02-20 📅 作成日 2023-06-26
165
feifeibear/long-context-attention

USP: 長コンテキストトランスフォーマーモデルのトレーニングと推論のための統合(別名ハイブリッド、2D)シーケンス並列アテンション

feifeibear
⭐ 697 Python 👤 feifeibear User 🕐 更新日時 2026-09-16 📅 作成日 2024-03-27
167
MDK8888/GPTFast

Hugging Face Transformersを7.6~9倍高速化します。Hugging FaceとPyTorchネイティブ。

MDK8888
⭐ 687 Python 👤 MDK8888 User 🕐 更新日時 2024-08-22 📅 作成日 2024-02-18
168
google-deepmind/recurrentgemma

Google DeepMindのGriffinベースのオープンウェイト言語モデル。

google-deepmind
⭐ 686 Python 👤 google-deepmind Organization 🕐 更新日時 2026-02-06 📅 作成日 2024-03-25
169
carloslfu/slotstream

105 GBのAIモデルを、モデル全体を保存できないMacで実行。Qwen3.8-Flash-Nextの4ビット版をSSDからストリーミングし、メモリ16~64 GBのApple Silicon搭載Macで動作します。Swift、MLX、Metalによる完全ネイティブ実装。オフラインで動作し、Pythonは不要。CLI、Swiftライブラリ、Ollama/OpenAI/Anthropic APIに対応。Claude CodeおよびCodexでも利用できます。

carloslfu
⭐ 674 Swift 👤 carloslfu User 🕐 更新日時 2026-11-17 📅 作成日 2026-08-28
170
run-ai/genv

LLMサポートによるGPU環境とクラスター管理

run-ai
⭐ 657 Python 👤 run-ai Organization 🕐 更新日時 2024-05-16 📅 作成日 2022-09-04
172
NightMean/OlliteRT

AndroidスマートフォンをOpenAI互換のLLM推論サーバーに変える——完全ローカル、プライベート、オープンソース

NightMean
⭐ 645 Kotlin 👤 NightMean User 🕐 更新日時 2026-11-07 📅 作成日 2026-04-06
173
NotPunchnox/rkllama

Rockchip NPU 向け Ollama 代替:Rockchip デバイス上で AI と深層学習モデルを効率的に実行するための最適化された NPU サポート付きソリューション (rkllm)

NotPunchnox
⭐ 631 Python 👤 NotPunchnox User 🕐 更新日時 2026-10-28 📅 作成日 2024-12-30
174
sixgpt/miner

SixGPT公式マイナー

sixgpt
⭐ 611 Shell 👤 sixgpt Organization 🕐 更新日時 2024-12-19 📅 作成日 2024-10-06
175
felladrin/MiniSearch

ブラウザから直接実行されるAIアシスタントを搭載したミニマルなウェブ検索プラットフォーム。デモ:https://felladrin-minisearch.hf.space

felladrin
⭐ 611 TypeScript 👤 felladrin User 🕐 更新日時 2026-11-21 📅 作成日 2023-10-14
176
jaylfc/taOS

セルフホスト型AIエージェントOS。メモリ、チャット、エージェント、ファイルはすべて所有するハードウェア内に保持され、デフォルトでオフライン、必要に応じてクラウドを利用可能です。オフラインAIメモリ(taOSmd)、セルフホスト型マルチフレームワーク・グループチャット、フル機能のWebデスクトップ+アプリストア、そして既存のコンシューマーハードウェア(Orange/Raspberry Pi、Mac mini、ゲーミングPC)間での自動クラスタリング機能を備えています。

jaylfc
⭐ 609 Python 👤 jaylfc User 🕐 更新日時 2026-11-20 📅 作成日 2026-04-05
177
andrewkchan/yalm

もう一つの言語モデル:C++/CUDAにおけるLLM推論、I/O以外のライブラリなし

andrewkchan
⭐ 597 C++ 👤 andrewkchan User 🕐 更新日時 2025-09-13 📅 作成日 2024-10-02
178
huggingface/swift-chat

swift-transformersをデモンストレーションするMacアプリ

huggingface
⭐ 592 Swift 👤 huggingface Organization 🕐 更新日時 2024-07-29 📅 作成日 2023-05-11
179
zjhellofss/KuiperLLama

校招、秋招、春招、インターンシップの優良プロジェクト、ゼロからLlama2/3とQwen2.5をサポートする大規模モデル推論フレームワークの実装をお手伝いします。

zjhellofss
⭐ 581 C++ 👤 zjhellofss User 🕐 更新日時 2025-10-28 📅 作成日 2024-04-25
180
kacper-daftcode/vLLM-Moet

RTX PRO 6000 / RTX 5090(sm_120)で動作する最先端MoEモデル:4基のRTX PRO 6000でのDeepSeek-V4.1-Flash、4基のRTX 5090でのGPU+CPUハイブリッド構成、およびvLLM v0.24.0での2ビットエキスパート

kacper-daftcode
⭐ 580 Sass 👤 kacper-daftcode User 🕐 更新日時 2026-11-18 📅 作成日 2026-06-15
181
SakanaAI/treequest

LLM推論時間スケーリングのための柔軟なAPIを備えたツリー検索ライブラリ

SakanaAI
⭐ 580 Python 👤 SakanaAI Organization 🕐 更新日時 2026-11-08 📅 作成日 2025-06-30
182
devflowinc/uzi

Git worktreeを使用して大量のコーディングエージェントを並列実行するためのCLI

devflowinc
⭐ 579 Go 👤 devflowinc Organization 🕐 更新日時 2025-06-04 📅 作成日 2025-05-27
183
rohan-paul/LLM-FineTuning-Large-Language-Models

LLM(大規模言語モデル)ファインチューニング

rohan-paul
⭐ 574 Jupyter Notebook 👤 rohan-paul User 🕐 更新日時 2025-04-01 📅 作成日 2023-10-22
184
StartLuxLabs/StartLux-Prism

NVIDIA GPU上でStartLux-Decisionモデルを高速かつ正確に推論:公開されたGGUFファイルは、/v1/systemone API経由でint8および4ビットのTensor Core上で動作し、FP8ではvLLMより最大5.3倍低いレイテンシを実現し、回答はビット単位で完全に一致します。

StartLuxLabs
⭐ 560 Python 👤 StartLuxLabs Organization 🕐 更新日時 2026-10-27 📅 作成日 2026-10-13
185
yassa9/qwen600

静的サックレス単一バッチCUDA専用qwen3-0.6Bミニ推論エンジン

yassa9
⭐ 559 Cuda 👤 yassa9 User 🕐 更新日時 2025-09-08 📅 作成日 2025-09-06
186
01-ai/Yi-1.5

Yi-1.5はYiのアップグレード版であり、コーディング、数学、推論、指示追従能力においてより強力なパフォーマンスを提供します。

01-ai
⭐ 557 👤 01-ai Organization 🕐 更新日時 2024-11-11 📅 作成日 2024-05-10
189
Noeda/rllama

Rust+OpenCL+AVX2 によるLLaMA推論コードの実装

Noeda
⭐ 551 Rust 👤 Noeda User 🕐 更新日時 2024-02-12 📅 作成日 2023-03-11
190
OmniJev/Flide

🔥🔥 意思決定モデル向けの超高速推論エンジン

OmniJev
⭐ 550 Python 👤 OmniJev Organization 🕐 更新日時 2026-11-21 📅 作成日 2026-10-24
191
Indras-Mirror/Xolotl

Xolotl:DeepSeek-V4.1-Flashを552Bパラメータすべてで、1台のゲーミングPC(RTX 4090 + RAM 110 GB)上のローカルコーディングエージェントとして実行。エージェント時は約33 tok/s、高速モードでは約41 tok/s、コンテキスト長は512K。さらに、Inkling-2-Mini(Thinking Machines独自エンジン + MTPドラフター)、GLM-5.3-Flash、Qwen3.8、LFM3-Omniにも対応。MoEエキスパートをVRAM、RAM、NVMeに階層的に配置(Xolotl Direct)。OpenAI + Anthropic API。

Indras-Mirror
⭐ 549 C++ 👤 Indras-Mirror User 🕐 更新日時 2026-11-21 📅 作成日 2026-10-06
192
mit-han-lab/duo-attention

[ICLR 2025] DuoAttention: 検索およびストリーミングヘッドによる効率的な長コンテキストLLM推論

mit-han-lab
⭐ 541 Python 👤 mit-han-lab Organization 🕐 更新日時 2025-02-10 📅 作成日 2024-10-15
193
microsoft/sarathi-serve

LLM向けの低遅延・高スループットなサービングエンジン

microsoft
⭐ 539 Python 👤 microsoft Organization 🕐 更新日時 2026-11-17 📅 作成日 2023-11-02
194
v-modal/awesome-jev-tools

型付き意思決定のための TypeSafe AI の System One モデル、Jev 向けに厳選されたツール一覧。

v-modal
⭐ 537 👤 v-modal Organization 🕐 更新日時 2026-11-15 📅 作成日 2026-09-19
195
brontoguana/krasis

Krasisは、VRAMが制限されたコンシューマー向けハードウェア上で大規模モデルを効率的に実行することに重点を置いたハイブリッドLLMランタイムです

brontoguana
⭐ 530 C++ 👤 brontoguana User 🕐 更新日時 2026-11-12 📅 作成日 2026-02-09
196
ome-projects/ome

Open Model Engine (OME) — LLM のサービング、GPU スケジューリング、モデルのライフサイクル管理を行う Kubernetes オペレーター。SGLang、vLLM、TensorRT-LLM、Triton に対応

ome-projects
⭐ 529 Go 👤 ome-projects Organization 🕐 更新日時 2026-11-21 📅 作成日 2025-05-19
197
amitshekhariitbhu/llm-inference-engineering

KVキャッシュ、PagedAttention、連続バッチ処理から、vLLM、SGLang、GPUまで、LLM推論エンジニアリングを段階的に学びましょう。

amitshekhariitbhu
⭐ 523 Markdown 👤 amitshekhariitbhu User 🕐 更新日時 2026-11-09 📅 作成日 2026-08-18
198
huawei-csl/KVarN

KVarNは、エージェント向けのネイティブvLLM KVキャッシュ量子化バックエンドです。コンテキストを3~5倍に拡張し、FP16を上回るスループットとFP16レベルの精度を実現します。キャリブレーション不要、フラグ1つで利用できます。

huawei-csl
⭐ 521 Python 👤 huawei-csl Organization 🕐 更新日時 2026-06-22 📅 作成日 2026-05-29
199
expectedparrot/edsl

AIを活用した調査や実験を設計・実施し、その結果を分析します。多数のAIエージェントと大規模言語モデルを用いて、社会科学研究や市場調査をシミュレーションします。

expectedparrot
⭐ 521 Python 👤 expectedparrot Organization 🕐 更新日時 2026-11-21 📅 作成日 2024-01-02
200
turboderp-org/exui

ExLlamaV2用Web UI

turboderp-org
⭐ 513 JavaScript 👤 turboderp-org Organization 🕐 更新日時 2025-02-05 📅 作成日 2023-10-29