Git Stars Git Stars

#llm-serving リポジトリ

#llm-servingのタグが付いた、GitHub上の44件のアクティブなオープンソースリポジトリをご覧ください。合計スター数は381,346個で、プロジェクトあたりの平均は8,666個です。このトピックをリードしているのは、97,302個のスターを獲得しているvllm-project/vllmです。

44
リポジトリ総数
381,346
合計スター数
8,666
リポジトリあたりの平均スター数

リポジトリ合計44件

1
vllm-project/vllm

LLM向けの高性能・メモリ効率の高い推論およびサービングエンジン

vllm-project
⭐ 97,302 Python 👤 vllm-project Organization 🕐 更新日時 2026-11-21 📅 作成日 2023-02-09
2
exo-explore/exo

ローカルでフロンティアAIを実行する。

exo-explore
⭐ 48,516 Python 👤 exo-explore Organization 🕐 更新日時 2026-11-06 📅 作成日 2024-06-24
3
ray-project/ray

Ray は AI コンピュート エンジンです。Ray は、ML ワークロードを加速するためのコア分散ランタイムと AI ライブラリのセットで構成されています。

ray-project
⭐ 44,352 Python 👤 ray-project Organization 🕐 更新日時 2026-11-21 📅 作成日 2016-10-25
4
lm-sys/FastChat

大規模言語モデルのトレーニング、サービング、評価のためのオープン プラットフォーム。Vicuna と Chatbot Arena のリポジトリを公開します。

lm-sys
⭐ 39,550 Python 👤 lm-sys Organization 🕐 更新日時 2026-05-01 📅 作成日 2023-03-19
5
liguodongiot/llm-action

本プロジェクトは、大規模モデルに関連する技術原理と実践経験(大規模モデルのエンジニアリング、大規模モデルの応用)を共有することを目的としています。

liguodongiot
⭐ 25,297 HTML 👤 liguodongiot User 🕐 更新日時 2026-10-14 📅 作成日 2023-05-23
6
NVIDIA/TensorRT-LLM

TensorRT LLM は、ユーザーが大規模言語モデル(LLM)を定義するための使いやすい Python API を提供し、NVIDIA GPU 上で効率的に推論を実行するための最先端の最適化をサポートします。TensorRT LLM には、パフォーマンスの高い方法で推論実行をオーケストレーションする Python および C++ ランタイムを作成するためのコンポーネントも含まれています。

NVIDIA
⭐ 15,112 Python 👤 NVIDIA Organization 🕐 更新日時 2026-11-21 📅 作成日 2023-08-16
7
bentoml/OpenLLM

DeepSeekやLlamaなどの任意のオープンソースLLMを、クラウド上でOpenAI互換APIエンドポイントとして実行します。

bentoml
⭐ 12,610 Python 👤 bentoml Organization 🕐 更新日時 2026-11-16 📅 作成日 2023-04-19
8
skypilot-org/skypilot

最先端チーム向けAIコンピュートプラットフォーム。SkyPilotは断片化されたAIコンピュートを1つのAIスーパーコンピュータに変え、最先端のAIチームがより迅速にカスタムインテリジェンスを構築できるようにします。

skypilot-org
⭐ 10,869 Python 👤 skypilot-org Organization 🕐 更新日時 2026-11-21 📅 作成日 2021-08-11
9
bentoml/BentoML

AIアプリとモデルをサーブする最も簡単な方法 - モデル推論API、ジョブキュー、LLMアプリ、マルチモデルパイプラインなどを構築!

bentoml
⭐ 8,944 Python 👤 bentoml Organization 🕐 更新日時 2026-11-17 📅 作成日 2019-04-02
10
bojieli/ai-infra-book

『AIインフラを深く理解する:定量分析とシステム設計』(李博杰 著)、オープンソースの書籍原稿:ハードウェアの制約とモデルアーキテクチャを起点に、LLMの推論・学習システムの設計を定量的に導出します。書籍全文、PDF、関連する計算ツール、実験を収録。

bojieli
⭐ 8,179 Python 👤 bojieli User 🕐 更新日時 2026-10-01 📅 作成日 2026-08-22
11
z-lab/dflash

DFlash:Flashの予測的デコーディングのためのブロック拡散

z-lab
⭐ 6,254 Python 👤 z-lab Organization 🕐 更新日時 2026-08-18 📅 作成日 2026-01-04
12
gpustack/gpustack

高性能AIモデルサービング(vLLM、SGLang)およびオンデマンドのSSHアクセス可能なGPUインスタンスのためのGPUクラスターマネージャー。

gpustack
⭐ 6,097 Python 👤 gpustack Organization 🕐 更新日時 2026-11-20 📅 作成日 2024-05-11
13
sgl-project/mini-sglang

現代のLLM提供システムの複雑さを解明するために設計された、SGLangのコンパクトな実装です。

sgl-project
⭐ 5,623 Python 👤 sgl-project Organization 🕐 更新日時 2026-05-17 📅 作成日 2025-09-01
14
superduper-io/superduper

Superduper: カスタムAIアプリケーションとエージェントを構築するためのエンドツーエンドフレームワーク。

superduper-io
⭐ 5,317 Python 👤 superduper-io Organization 🕐 更新日時 2025-09-01 📅 作成日 2022-08-30
15
SylphAI-Inc/LLM-engineer-handbook

モデルのトレーニング、サービング、ファインチューニング、LLMアプリケーションの構築をカバーする、大規模言語モデルのリソースのキュレーションリスト。

SylphAI-Inc
⭐ 5,014 👤 SylphAI-Inc Organization 🕐 更新日時 2025-08-18 📅 作成日 2024-11-04
16
predibase/lorax

数千のファインチューニングされたLLMに拡張されるマルチLoRA推論サーバー

predibase
⭐ 3,836 Python 👤 predibase Organization 🕐 更新日時 2026-05-28 📅 作成日 2023-10-20
17
PaddlePaddle/FastDeploy

PaddlePaddleベースのLLMおよびVLM向けの高性能推論およびデプロイメントツールキット

PaddlePaddle
⭐ 3,722 Python 👤 PaddlePaddle Organization 🕐 更新日時 2026-09-24 📅 作成日 2022-06-27
18
vllm-project/vllm-ascend

Huawei Ascend上のvLLM向けコミュニティ保守ハードウェアプラグイン

vllm-project
⭐ 3,128 Python 👤 vllm-project Organization 🕐 更新日時 2026-11-21 📅 作成日 2025-01-29
19
thu-pacman/chitu

効率性、柔軟性、可用性に焦点を当てた、大規模言語モデル向けの高性能推論フレームワーク。

thu-pacman
⭐ 3,005 Python 👤 thu-pacman Organization 🕐 更新日時 2026-11-21 📅 作成日 2025-02-20
20
MoonshotAI/MoBA

MoBA: 長文脈LLMのためのブロックアテンションの混合

MoonshotAI
⭐ 2,122 Python 👤 MoonshotAI Organization 🕐 更新日時 2025-04-03 📅 作成日 2025-02-17
21
microsoft/aici

AICI: (Wasm)プログラムとしてのプロンプト

microsoft
⭐ 2,077 Rust 👤 microsoft Organization 🕐 更新日時 2025-01-22 📅 作成日 2023-09-26
22
SemiAnalysisAI/InferenceX

オープンソース推論研究プラットフォーム

SemiAnalysisAI
⭐ 2,074 Python 👤 SemiAnalysisAI Organization 🕐 更新日時 2026-11-21 📅 作成日 2025-07-12
23
ovg-project/kvcached

動的GPU共有と、その先を見据えた仮想化弾性KVキャッシュ

ovg-project
⭐ 2,051 Python 👤 ovg-project Organization 🕐 更新日時 2026-11-20 📅 作成日 2025-05-27
24
HuangOwen/Awesome-LLM-Compression

素晴らしいLLM圧縮の研究論文とツール。

HuangOwen
⭐ 1,899 👤 HuangOwen User 🕐 更新日時 2026-11-16 📅 作成日 2023-05-30
25
RunanywhereAI/trnrt

AWS Trainium向けのオープンなLLM推論エンジン:NKIメガカーネル、100万トークンのコンテキスト、OpenAI互換API。RunAnywhere提供。

RunanywhereAI
⭐ 1,653 Python 👤 RunanywhereAI Organization 🕐 更新日時 2026-11-20 📅 作成日 2026-10-30
26
GradientHQ/parallax

Parallaxは、どこでも独自のAIクラスターを構築できる分散型モデル提供フレームワークです

GradientHQ
⭐ 1,429 Python 👤 GradientHQ Organization 🕐 更新日時 2026-07-01 📅 作成日 2025-09-22
27
peonist-ai/halogen-flash-server

最先端APIのように動作するローカル推論:AMD Strix Halo上のQwen3.8-Flash-Nextと小型NPUモデルを、OpenAIおよびAnthropicのAPI経由で単一ポートから利用。

peonist-ai
⭐ 1,412 Shell 👤 peonist-ai Organization 🕐 更新日時 2026-11-18 📅 作成日 2026-08-26
28
alibaba/rtp-llm

RTP-LLM:Alibabaの多様なアプリケーション向け高性能LLM推論エンジン。

alibaba
⭐ 1,402 Python 👤 alibaba Organization 🕐 更新日時 2026-11-21 📅 作成日 2023-12-27
29
microsoft/MInference

[NeurIPS'24 Spotlight, ICLR'25, ICML'25] Long-context LLMの推論を高速化するために、近似的かつ動的なスパース計算によりアテンションを計算し、A100でのプリフィルにおいて推論レイテンシを最大10倍削減し、精度を維持します。

microsoft
⭐ 1,230 Python 👤 microsoft Organization 🕐 更新日時 2026-11-18 📅 作成日 2024-05-22
30
efeslab/Nanoflow

LLM向けのスループット指向高性能サービングフレームワーク

efeslab
⭐ 978 Jupyter Notebook 👤 efeslab Organization 🕐 更新日時 2026-03-29 📅 作成日 2024-08-19
31
zhihu/ZhiLight

Llama およびそのバリアント向けの高度に最適化された LLM 推論アクセラレーション エンジン。

zhihu
⭐ 906 C++ 👤 zhihu Organization 🕐 更新日時 2026-03-18 📅 作成日 2024-12-06
32
mosecorg/mosec

高パフォーマンスMLモデルサービングフレームワークは、動的バッチ処理とCPU/GPUパイプラインを提供し、コンピューティングマシンを最大限に活用します

mosecorg
⭐ 905 Python 👤 mosecorg Organization 🕐 更新日時 2026-11-02 📅 作成日 2021-03-13
33
triton-inference-server/tutorials

このリポジトリには、Triton Inference Server のチュートリアルと例が含まれています

triton-inference-server
⭐ 869 Python 👤 triton-inference-server Organization 🕐 更新日時 2026-11-17 📅 作成日 2022-12-16
34
mit-han-lab/omniserve

[MLSys'25] QServe: 効率的なLLMサービングのためのW4A8KV4量子化とシステムコデザイン; [MLSys'25] LServe: 統一されたスパースアテンションによる効率的な長シーケンスLLMサービング

mit-han-lab
⭐ 840 C++ 👤 mit-han-lab Organization 🕐 更新日時 2025-03-06 📅 作成日 2024-05-06
35
helixml/helix

♾️ スペックコーディング付きプライベートエージェントフリート。各エージェントに独自のGPUアクセラレーテッドデスクトップ。Claude、Codex、Gemini、オープンモデルをフルプライベートAIスタックで実行 ♾️

helixml
⭐ 833 Go 👤 helixml Organization 🕐 更新日時 2026-11-20 📅 作成日 2023-10-17
36
LLMServe/DistServe

大規模言語モデル(LLM)の分散型サービングシステム。

LLMServe
⭐ 817 Jupyter Notebook 👤 LLMServe Organization 🕐 更新日時 2025-04-06 📅 作成日 2024-01-16
37
ARahim3/kaggle-tpu-lab

無料の Kaggle TPU v5e-8 上で動作する最先端クラスのオープンモデル:GLM-5.3-Flash 320B MoE(約165 tok/s、独自の JAX エンジン使用)と Qwen3.8-27B bf16(約130 tok/s)。262k コンテキスト、プレフィックスキャッシュに対応。Claude Code、Codex、opencode、pi で利用できます。

ARahim3
⭐ 812 Python 👤 ARahim3 User 🕐 更新日時 2026-10-06 📅 作成日 2026-08-31
38
nunchaku-ai/deepcompressor

大規模言語モデルおよび拡散モデルのためのモデル圧縮ツールボックス

nunchux-ai
⭐ 799 Python 👤 nunchux-ai Organization 🕐 更新日時 2025-08-14 📅 作成日 2024-05-06
39
pegainfer-project/pegainfer

純粋な Rust + CUDA の LLM 推論エンジン — PyTorch 不要、OpenAI 互換、Qwen3 から Kimi-K2 まで対応

pegainfer-project
⭐ 748 Rust 👤 pegainfer-project Organization 🕐 更新日時 2026-11-21 📅 作成日 2026-02-17
40
owenliang/qwen-vllm

Tongyi Qianwen VLLM 推論デプロイメント DEMO

owenliang
⭐ 637 Python 👤 owenliang User 🕐 更新日時 2024-03-28 📅 作成日 2024-01-21
42
rohan-paul/LLM-FineTuning-Large-Language-Models

LLM(大規模言語モデル)ファインチューニング

rohan-paul
⭐ 574 Jupyter Notebook 👤 rohan-paul User 🕐 更新日時 2025-04-01 📅 作成日 2023-10-22
43
llumnix-project/llumnix-ray

効率的で簡単なマルチインスタンスLLMサービング

llumnix-project
⭐ 561 Python 👤 llumnix-project Organization 🕐 更新日時 2026-03-12 📅 作成日 2024-05-20
44
OmniJev/Flide

🔥🔥 意思決定モデル向けの超高速推論エンジン

OmniJev
⭐ 550 Python 👤 OmniJev Organization 🕐 更新日時 2026-11-21 📅 作成日 2026-10-24

よくある質問

1

GitHubで最も人気のある#llm-servingリポジトリは何ですか?

GitHubで最も上位にランクインしているオープンソースの#llm-servingプロジェクトは、97,302個のスターを獲得しているvllm-project/vllmです。LLM向けの高性能・メモリ効率の高い推論およびサービングエンジン

2

#llm-servingリポジトリで最もよく使われているプログラミング言語は何ですか?

GitHubで上位にランクインしている#llm-servingプロジェクトでは、Python, Jupyter Notebook, Rust, C++が最も一般的なプログラミング言語です。

3

#llm-servingリポジトリのランキングはどのように算出されていますか?

#llm-servingのタグが付いた44件のアクティブなオープンソースリポジトリ(スター500個以上)を追跡しています。合計スター数は381,346個で、リポジトリあたりの平均は8,666個です。ランキングはGitHub APIからのデータに基づいて毎日更新されます。