Git Stars Git Stars

#llm-inference リポジトリ

#llm-inferenceのタグが付いた、GitHub上の202件のアクティブなオープンソースリポジトリをご覧ください。合計スター数は1,046,424個で、プロジェクトあたりの平均は5,180個です。このトピックをリードしているのは、104,417個のスターを獲得しているdeepseek-ai/DeepSeek-V3です。

202
リポジトリ総数
1.0M
合計スター数
5,180
リポジトリあたりの平均スター数

リポジトリ合計202件

⭐ 104,417 Python 👤 deepseek-ai Organization 🕐 更新日時 2025-08-28 📅 作成日 2024-12-26
2
nomic-ai/gpt4all

GPT4All:あらゆるデバイスでローカルLLMを実行。オープンソースで商用利用も可能です。

nomic-ai
⭐ 77,352 C++ 👤 nomic-ai Organization 🕐 更新日時 2025-05-27 📅 作成日 2023-03-27
3
oobabooga/textgen

ローカルLLM向けのオープンソースデスクトップアプリ。テキスト、ビジョン、ツール呼び出し、OpenAI/Anthropic互換APIに対応。100%プライベート。

oobabooga
⭐ 47,736 Python 👤 oobabooga User 🕐 更新日時 2026-08-17 📅 作成日 2022-12-21
4
ray-project/ray

Ray は AI コンピュート エンジンです。Ray は、ML ワークロードを加速するためのコア分散ランタイムと AI ライブラリのセットで構成されています。

ray-project
⭐ 44,352 Python 👤 ray-project Organization 🕐 更新日時 2026-11-21 📅 作成日 2016-10-25
5
microsoft/BitNet

1ビットLLMの公式推論フレームワーク

microsoft
⭐ 42,358 C++ 👤 microsoft Organization 🕐 更新日時 2026-07-27 📅 作成日 2024-08-05
6
gitleaks/gitleaks

Gitleaks でシークレットを見つける 🔑

gitleaks
⭐ 31,234 Go 👤 gitleaks Organization 🕐 更新日時 2026-10-28 📅 作成日 2018-01-27
7
QwenLM/Qwen3

Qwen3は、Alibaba CloudのQwenチームによって開発された大規模言語モデルシリーズです。

QwenLM
⭐ 27,753 Python 👤 QwenLM Organization 🕐 更新日時 2026-01-09 📅 作成日 2024-02-05
8
Hannibal046/Awesome-LLM

Awesome-LLM: 大規模言語モデルの厳選リスト

Hannibal046
⭐ 27,212 👤 Hannibal046 User 🕐 更新日時 2025-07-31 📅 作成日 2023-02-17
9
google-ai-edge/gallery

オンデバイスML/GenAIのユースケースを展示し、ユーザーがローカルでモデルを試したり使用したりできるギャラリーです。

google-ai-edge
⭐ 25,398 Kotlin 👤 google-ai-edge Organization 🕐 更新日時 2026-11-21 📅 作成日 2025-03-31
10
liguodongiot/llm-action

本プロジェクトは、大規模モデルに関連する技術原理と実践経験(大規模モデルのエンジニアリング、大規模モデルの応用)を共有することを目的としています。

liguodongiot
⭐ 25,297 HTML 👤 liguodongiot User 🕐 更新日時 2026-10-14 📅 作成日 2023-05-23
11
deepseek-ai/DeepSeek-OCR

光学圧縮コンテキスト

deepseek-ai
⭐ 24,180 Python 👤 deepseek-ai Organization 🕐 更新日時 2026-01-27 📅 作成日 2025-10-17
12
kvcache-ai/ktransformers

異種LLM推論/ファインチューニング最適化を体験するための柔軟なフレームワーク

kvcache-ai
⭐ 19,687 Python 👤 kvcache-ai Organization 🕐 更新日時 2026-11-13 📅 作成日 2024-07-26
13
karpathy/llama2.c

純粋なC言語ファイルでのLlama 2推論

karpathy
⭐ 19,062 C 👤 karpathy User 🕐 更新日時 2024-08-06 📅 作成日 2023-07-23
14
Stability-AI/StableLM

StableLM: Stability AI 言語モデル

Stability-AI
⭐ 15,784 Jupyter Notebook 👤 Stability-AI Organization 🕐 更新日時 2024-04-08 📅 作成日 2023-04-19
15
mindverse/Second-Me

AIの自分を訓練し、あなたを増幅させ、世界をつなぎます

mindverse
⭐ 15,688 Python 👤 mindverse Organization 🕐 更新日時 2025-09-30 📅 作成日 2025-03-16
16
Lightning-AI/litgpt

大規模な事前学習、ファインチューニング、デプロイのレシピを備えた20以上の高性能LLM。

Lightning-AI
⭐ 13,757 Python 👤 Lightning-AI Organization 🕐 更新日時 2026-11-10 📅 作成日 2023-05-04
17
deepseek-ai/FlashMLA

FlashMLA: 効率的なマルチヘッド潜在的アテンションカーネル

deepseek-ai
⭐ 13,275 C++ 👤 deepseek-ai Organization 🕐 更新日時 2026-10-27 📅 作成日 2025-02-21
18
bentoml/OpenLLM

DeepSeekやLlamaなどの任意のオープンソースLLMを、クラウド上でOpenAI互換APIエンドポイントとして実行します。

bentoml
⭐ 12,610 Python 👤 bentoml Organization 🕐 更新日時 2026-11-16 📅 作成日 2023-04-19
19
FareedKhan-dev/kimi-k3-in-c

2.78兆パラメータのKimi K3モデルが、8.24GBのRAMを搭載したシングルCPU上で推論を実行。ポータブルなC99実装:BLASなし、フレームワークなし、GPUなし。

FareedKhan-dev
⭐ 12,523 C 👤 FareedKhan-dev User 🕐 更新日時 2026-11-16 📅 作成日 2026-08-01
20
openvinotoolkit/openvino

OpenVINO™ は、AI 推論の最適化とデプロイのためのオープンソースツールキットです。

openvinotoolkit
⭐ 11,869 C++ 👤 openvinotoolkit Organization 🕐 更新日時 2026-11-21 📅 作成日 2018-10-15
21
mistralai/mistral-inference

Mistralモデルの公式推論ライブラリ

mistralai
⭐ 10,809 Jupyter Notebook 👤 mistralai Organization 🕐 更新日時 2026-04-20 📅 作成日 2023-09-27
22
abetlen/llama-cpp-python

llama.cpp の Python バインディング

abetlen
⭐ 10,691 Python 👤 abetlen User 🕐 更新日時 2026-11-21 📅 作成日 2023-03-23
23
Tiiny-AI/PowerInfer

ローカルデプロイメント向けの高速大規模言語モデルサービング

Tiiny-AI
⭐ 9,893 C++ 👤 Tiiny-AI Organization 🕐 更新日時 2026-05-11 📅 作成日 2023-12-15
24
bentoml/BentoML

AIアプリとモデルをサーブする最も簡単な方法 - モデル推論API、ジョブキュー、LLMアプリ、マルチモデルパイプラインなどを構築!

bentoml
⭐ 8,944 Python 👤 bentoml Organization 🕐 更新日時 2026-11-17 📅 作成日 2019-04-02
25
ai-dynamo/dynamo

データセンタースケールの分散推論サービングフレームワーク

ai-dynamo
⭐ 8,542 Rust 👤 ai-dynamo Organization 🕐 更新日時 2026-11-21 📅 作成日 2025-03-03
26
bojieli/ai-infra-book

『AIインフラを深く理解する:定量分析とシステム設計』(李博杰 著)、オープンソースの書籍原稿:ハードウェアの制約とモデルアーキテクチャを起点に、LLMの推論・学習システムの設計を定量的に導出します。書籍全文、PDF、関連する計算ツール、実験を収録。

bojieli
⭐ 8,179 Python 👤 bojieli User 🕐 更新日時 2026-10-01 📅 作成日 2026-08-22
27
InternLM/lmdeploy

LMDeployは、LLMを圧縮、デプロイ、および提供するためのツールキットです。

InternLM
⭐ 8,153 Python 👤 InternLM Organization 🕐 更新日時 2026-11-20 📅 作成日 2023-06-15
28
algorithmicsuperintelligence/openevolve

AlphaEvolveのオープンソース実装

algorithmicsuperintelligence
⭐ 7,835 Python 👤 algorithmicsuperintelligence Organization 🕐 更新日時 2026-11-20 📅 作成日 2025-05-15
29
drumih/turbo-fieldfare

あらゆるMシリーズMacBookで約2GBのRAMを使用してGemma 4 26B-A4B推論を実行

drumih
⭐ 7,432 Swift 👤 drumih User 🕐 更新日時 2026-11-14 📅 作成日 2026-07-17
30
mit-han-lab/streaming-llm

[ICLR 2024] Attention Sinks を用いた効率的なストリーミング言語モデル

mit-han-lab
⭐ 7,165 Python 👤 mit-han-lab Organization 🕐 更新日時 2024-07-11 📅 作成日 2023-09-29
31
katanemo/plano

Planoは、エージェント型アプリケーション向けのAIネイティブプロキシサーバーおよびデータプレーンです。スマートなLLMルーティング、可観測性、エージェントオーケストレーション、ガードレールにより、エージェントのコアロジックに集中できます。

katanemo
⭐ 7,118 Rust 👤 katanemo Organization 🕐 更新日時 2026-10-24 📅 作成日 2024-07-09
32
google/gemma.cpp

GoogleのGemmaモデル用の軽量スタンドアロンC++推論エンジン。

google
⭐ 7,089 C++ 👤 google Organization 🕐 更新日時 2026-11-20 📅 作成日 2024-02-13
33
deepseek-ai/DeepSeek-Coder-V2

DeepSeek-Coder-V2:コードインテリジェンスにおけるクローズドソースモデルの壁を破る

deepseek-ai
⭐ 7,030 👤 deepseek-ai Organization 🕐 更新日時 2025-11-11 📅 作成日 2024-06-14
34
karminski/one-small-step

これは、興味深く最先端の技術的概念と原則を説明することに主​​に焦点を当てた、簡単な技術科普チュートリアルプロジェクトです。各記事は5分以内に読了できるように努めています。

karminski
⭐ 7,006 Python 👤 karminski User 🕐 更新日時 2026-03-08 📅 作成日 2025-01-16
35
flashinfer-ai/flashinfer

FlashInfer: LLMサービング用カーネルライブラリ

flashinfer-ai
⭐ 6,982 Cuda 👤 flashinfer-ai Organization 🕐 更新日時 2026-11-21 📅 作成日 2023-07-22
36
simplescaling/s1

s1: 単純なテスト時間スケーリング

simplescaling
⭐ 6,656 Python 👤 simplescaling Organization 🕐 更新日時 2025-06-25 📅 作成日 2025-02-01
37
lemonade-sdk/lemonade

Lemonadeは、最適化されたLLMをユーザー自身のGPUやNPUから直接提供することで、ローカルAIアプリの発見と実行を支援します。ディスコードにご参加ください: https://discord.gg/5xXzkMu8Zk

lemonade-sdk
⭐ 6,262 C++ 👤 lemonade-sdk Organization 🕐 更新日時 2026-11-21 📅 作成日 2025-05-15
38
kserve/kserve

Kubernetes 上でのスケーラブルでマルチフレームワーク展開のための標準化された分散型生成および予測 AI 推論プラットフォーム

kserve
⭐ 6,253 Go 👤 kserve Organization 🕐 更新日時 2026-11-20 📅 作成日 2019-03-27
39
meta-pytorch/gpt-fast

Pythonの1000行未満で、シンプルかつ効率的なPytorchネイティブTransformerテキスト生成。

meta-pytorch
⭐ 6,244 Python 👤 meta-pytorch Organization 🕐 更新日時 2025-08-22 📅 作成日 2023-10-17
40
cactus-compute/engine

コンシューマー向けデバイス用の2ビット量子化、カーネル、ランタイム。

cactus-compute
⭐ 6,200 C++ 👤 cactus-compute Organization 🕐 更新日時 2026-11-05 📅 作成日 2025-04-23
41
gpustack/gpustack

高性能AIモデルサービング(vLLM、SGLang)およびオンデマンドのSSHアクセス可能なGPUインスタンスのためのGPUクラスターマネージャー。

gpustack
⭐ 6,097 Python 👤 gpustack Organization 🕐 更新日時 2026-11-20 📅 作成日 2024-05-11
42
Michael-A-Kuykendall/shimmy

⚡ 純 Rust 製 WebGPU 推論エンジン — OpenAI API 互換、GGUF ネイティブ対応、あらゆる GPU で動作。Python 不要。llama.cpp 不要。シングルバイナリ。

Michael-A-Kuykendall
⭐ 6,020 Rust 👤 Michael-A-Kuykendall User 🕐 更新日時 2026-11-12 📅 作成日 2025-08-28
43
alexzhang13/rlm

さまざまなサンドボックスをサポートする、再帰的言語モデル(RLM)用の汎用プラグアンドプレイ推論ライブラリ。

alexzhang13
⭐ 5,776 Python 👤 alexzhang13 User 🕐 更新日時 2026-11-21 📅 作成日 2025-12-20
44
sgl-project/mini-sglang

現代のLLM提供システムの複雑さを解明するために設計された、SGLangのコンパクトな実装です。

sgl-project
⭐ 5,623 Python 👤 sgl-project Organization 🕐 更新日時 2026-05-17 📅 作成日 2025-09-01
45
xlite-dev/Awesome-LLM-Inference

📚Awesome LLM/VLM推論論文&コードの厳選リスト:Flash-Attention、Paged-Attention、WINT8/4、並列化など。🎉

xlite-dev
⭐ 5,565 Python 👤 xlite-dev Organization 🕐 更新日時 2026-10-20 📅 作成日 2023-08-27
46
superduper-io/superduper

Superduper: カスタムAIアプリケーションとエージェントを構築するためのエンドツーエンドフレームワーク。

superduper-io
⭐ 5,317 Python 👤 superduper-io Organization 🕐 更新日時 2025-09-01 📅 作成日 2022-08-30
47
ztxz16/fastllm

fastllmは、バックエンドに依存しない高性能な大規模言語モデル推論ライブラリです。ほとんどのデバイスで大規模言語モデルを効率よく推論できます。

ztxz16
⭐ 5,133 C++ 👤 ztxz16 User 🕐 更新日時 2026-11-21 📅 作成日 2023-05-13
48
deepseek-ai/DeepSeek-V2

DeepSeek-V2:強力、経済的、効率的な Mixture-of-Experts 言語モデル

deepseek-ai
⭐ 4,988 👤 deepseek-ai Organization 🕐 更新日時 2024-09-25 📅 作成日 2024-04-22
49
FellouAI/eko

Eko (Ekoは稼働し続けます) - 自然言語で本番環境対応のエージェントワークフローを構築 - eko.fellou.ai

FellouAI
⭐ 4,963 TypeScript 👤 FellouAI Organization 🕐 更新日時 2026-03-03 📅 作成日 2024-11-23
50
ruvnet/RuVector

RuVectorは、高性能なリアルタイム意思決定とエージェントメモリ、自己学習型AI、そしてRustで構築されたベクトルGNNデータベースを提供します。

ruvnet
⭐ 4,713 Rust 👤 ruvnet User 🕐 更新日時 2026-11-21 📅 作成日 2025-11-19

よくある質問

1

GitHubで最も人気のある#llm-inferenceリポジトリは何ですか?

GitHubで最も上位にランクインしているオープンソースの#llm-inferenceプロジェクトは、104,417個のスターを獲得しているdeepseek-ai/DeepSeek-V3です。

2

#llm-inferenceリポジトリで最もよく使われているプログラミング言語は何ですか?

GitHubで上位にランクインしている#llm-inferenceプロジェクトでは、Python, C++, Rust, Goが最も一般的なプログラミング言語です。

3

#llm-inferenceリポジトリのランキングはどのように算出されていますか?

#llm-inferenceのタグが付いた202件のアクティブなオープンソースリポジトリ(スター500個以上)を追跡しています。合計スター数は1,046,424個で、リポジトリあたりの平均は5,180個です。ランキングはGitHub APIからのデータに基づいて毎日更新されます。