Git Stars Git Stars

#model-serving リポジトリ

#model-servingのタグが付いた、GitHub上の51件のアクティブなオープンソースリポジトリをご覧ください。合計スター数は211,758個で、プロジェクトあたりの平均は4,152個です。このトピックをリードしているのは、97,302個のスターを獲得しているvllm-project/vllmです。

51
リポジトリ総数
211,758
合計スター数
4,152
リポジトリあたりの平均スター数

リポジトリ合計51件

1
vllm-project/vllm

LLM向けの高性能・メモリ効率の高い推論およびサービングエンジン

vllm-project
⭐ 97,302 Python 👤 vllm-project Organization 🕐 更新日時 2026-11-21 📅 作成日 2023-02-09
2
bentoml/BentoML

AIアプリとモデルをサーブする最も簡単な方法 - モデル推論API、ジョブキュー、LLMアプリ、マルチモデルパイプラインなどを構築!

bentoml
⭐ 8,944 Python 👤 bentoml Organization 🕐 更新日時 2026-11-17 📅 作成日 2019-04-02
3
vllm-project/vllm-omni

オムニモダリティモデルを用いた効率的なモデル推論のためのフレームワーク

vllm-project
⭐ 7,884 Python 👤 vllm-project Organization 🕐 更新日時 2026-11-21 📅 作成日 2025-09-11
4
flyteorg/flyte

お使いの k8s 上で、エージェント、ML パイプライン、リアルタイム推論を型安全かつ分散的にオーケストレーション——async/await を使った純粋な Python に加え、他の言語(Rust、Go、TypeScript)にも対応

flyteorg
⭐ 7,801 Go 👤 flyteorg Organization 🕐 更新日時 2026-11-21 📅 作成日 2019-10-21
6
kserve/kserve

Kubernetes 上でのスケーラブルでマルチフレームワーク展開のための標準化された分散型生成および予測 AI 推論プラットフォーム

kserve
⭐ 6,253 Go 👤 kserve Organization 🕐 更新日時 2026-11-20 📅 作成日 2019-03-27
7
beclab/Olares

常時稼働エージェントのためのオープンソース・パーソナルクラウドOS

beclab
⭐ 5,373 Go 👤 beclab Organization 🕐 更新日時 2026-11-21 📅 作成日 2024-04-29
8
ahkarami/Deep-Learning-in-Production

このリポジトリでは、ディープラーニングベースのモデルを本番環境にデプロイするための役立つノートと参照情報を共有します。

ahkarami
⭐ 4,380 👤 ahkarami User 🕐 更新日時 2024-11-09 📅 作成日 2018-05-03
9
ModelTC/LightLLM

LightLLMは、軽量な設計、容易なスケーラビリティ、および高速なパフォーマンスで知られる、LLM(大規模言語モデル)の推論およびサービングのためのPythonベースのフレームワークです。

ModelTC
⭐ 4,368 Python 👤 ModelTC Organization 🕐 更新日時 2026-11-21 📅 作成日 2023-07-22
10
HuaizhengZhang/AI-Infra-from-Zero-to-Hero

🚀 機械学習のための素晴らしいシステム ⚡️ AIシステム論文と業界実践。 ⚡️ 機械学習システム、LLM (Large Language Model)、GenAI (Generative AI)。 🍻 OSDI, NSDI, SIGCOMM, SoCC, MLSys など。 🗃️ Llama3, Mistral など。 🧑‍💻 ビデオチュートリアル。

HuaizhengZhang
⭐ 4,224 👤 HuaizhengZhang User 🕐 更新日時 2025-07-25 📅 作成日 2019-01-07
11
FedML-AI/FedML

FEDML - 大規模分散トレーニング、モデルサービング、フェデレーテッドラーニングのための、統合されたスケーラブルなMLライブラリ。クロス クラウド スケジューラであるFEDML Launchは、あらゆるGPUクラウドまたはオンプレミス クラスタで任意のAIジョブを実行できるようにします。このライブラリに基づいて構築されたTensorOpera AI (https://TensorOpera.ai) は、大規模な生成AIプラットフォームです。

FedML-AI
⭐ 4,068 Python 👤 FedML-AI Organization 🕐 更新日時 2026-11-12 📅 作成日 2020-07-21
12
predibase/lorax

数千のファインチューニングされたLLMに拡張されるマルチLoRA推論サーバー

predibase
⭐ 3,836 Python 👤 predibase Organization 🕐 更新日時 2026-05-28 📅 作成日 2023-10-20
13
vllm-project/vllm-ascend

Huawei Ascend上のvLLM向けコミュニティ保守ハードウェアプラグイン

vllm-project
⭐ 3,128 Python 👤 vllm-project Organization 🕐 更新日時 2026-11-21 📅 作成日 2025-01-29
14
openlake-project/openlake

OpenLakeは、効率的なLLM推論とGPUトレーニングのための高性能ストレージエンジンです

openlake-project
⭐ 3,089 Rust 👤 openlake-project Organization 🕐 更新日時 2026-11-19 📅 作成日 2026-04-27
15
thu-pacman/chitu

効率性、柔軟性、可用性に焦点を当てた、大規模言語モデル向けの高性能推論フレームワーク。

thu-pacman
⭐ 3,005 Python 👤 thu-pacman Organization 🕐 更新日時 2026-11-21 📅 作成日 2025-02-20
16
AmberLJC/LLMSys-PaperList

大規模言語モデル(LLM)システム論文リスト

AmberLJC
⭐ 2,332 Python 👤 AmberLJC User 🕐 更新日時 2026-10-20 📅 作成日 2023-06-06
17
tensorchord/envd

🏕️ 人間とエージェントのための再現可能な開発環境

tensorchord
⭐ 2,249 Go 👤 tensorchord Organization 🕐 更新日時 2026-11-19 📅 作成日 2022-04-11
18
microsoft/aici

AICI: (Wasm)プログラムとしてのプロンプト

microsoft
⭐ 2,077 Rust 👤 microsoft Organization 🕐 更新日時 2025-01-22 📅 作成日 2023-09-26
19
tile-ai/TileRT

超低遅延LLM推論のためのタイルベースのランタイム

tile-ai
⭐ 1,906 Python 👤 tile-ai Organization 🕐 更新日時 2026-09-24 📅 作成日 2025-11-12
20
sgl-project/sglang-omni

対話型スーパーインテリジェンスシステム向け高性能サービングランタイム

sgl-project
⭐ 1,882 Python 👤 sgl-project Organization 🕐 更新日時 2026-11-21 📅 作成日 2026-01-07
21
janhq/awesome-local-ai

ローカルAIツールの素晴らしいリポジトリ

janhq
⭐ 1,791 👤 janhq Organization 🕐 更新日時 2024-11-13 📅 作成日 2023-09-06
22
mlrun/mlrun

MLRun は、オープンソースの MLOps プラットフォームで、ML アプリケーションのライフサイクル全体にわたる継続的な ML アプリケーションを迅速に構築・管理します。MLRun は、開発および CI/CD 環境に統合され、本番データ、ML パイプライン、およびオンラインアプリケーションの配信を自動化します。

mlrun
⭐ 1,703 Python 👤 mlrun Organization 🕐 更新日時 2026-11-20 📅 作成日 2019-09-01
23
ollaya-dev/ollaya

オープンな意思決定モデル向けのJev互換APIサーバー。意思決定モデルのためのOllama:29種類のモデルファミリー(Laya、pplx-decider、Clef、Winnow、cobaなど)をローカルで取得・実行するか、/v1/systemoneの背後でセルフホストできます。TypeSafe SDKは変更せずに利用可能です。ベースURLを設定し、オープンモデルを選ぶだけ。CLI、デスクトップアプリ、Docker、MCPサーバー、公開ベンチマークを提供。

ollaya-dev
⭐ 1,473 Rust 👤 ollaya-dev Organization 🕐 更新日時 2026-11-21 📅 作成日 2026-09-23
24
kitops-ml/kitops

AI/MLモデル、データセット、コード、および構成をOCIアーティファクトにパッケージ化およびバージョン管理するためのCNCFのオープンソースDevOpsツール。

kitops-ml
⭐ 1,451 Go 👤 kitops-ml Organization 🕐 更新日時 2026-11-20 📅 作成日 2024-02-02
25
alibaba/rtp-llm

RTP-LLM:Alibabaの多様なアプリケーション向け高性能LLM推論エンジン。

alibaba
⭐ 1,402 Python 👤 alibaba Organization 🕐 更新日時 2026-11-21 📅 作成日 2023-12-27
26
hemingkx/SpeculativeDecodingPapers

📰 Speculative Decoding に関する必読論文とブログ ⚡️

hemingkx
⭐ 1,309 👤 hemingkx User 🕐 更新日時 2026-06-27 📅 作成日 2023-09-20
27
logicalclocks/hopsworks

Hopsworks - 機能ストア付きデータ集約型 AI プラットフォーム

logicalclocks
⭐ 1,299 Java 👤 logicalclocks Organization 🕐 更新日時 2025-02-10 📅 作成日 2018-07-26
28
DataExpert-io/ai-engineer-handbook

AIについて最新情報を得るためにフォローすべきすべてのリンク、本、そしてクリエイター!

DataExpert-io
⭐ 1,261 👤 DataExpert-io Organization 🕐 更新日時 2026-11-20 📅 作成日 2026-02-16
29
basetenlabs/truss

本番環境でAI/MLモデルを提供する最も簡単な方法

basetenlabs
⭐ 1,236 Python 👤 basetenlabs Organization 🕐 更新日時 2026-11-20 📅 作成日 2022-07-06
30
gpu-mode/awesomeMLSys

MLシステムオンボーディングリスト

gpu-mode
⭐ 1,154 👤 gpu-mode Organization 🕐 更新日時 2026-02-19 📅 作成日 2024-05-06
31
efeslab/Nanoflow

LLM向けのスループット指向高性能サービングフレームワーク

efeslab
⭐ 978 Jupyter Notebook 👤 efeslab Organization 🕐 更新日時 2026-03-29 📅 作成日 2024-08-19
32
openvinotoolkit/model_server

OpenVINO™ で最適化されたモデル用のスケーラブルな推論サーバー

openvinotoolkit
⭐ 961 C++ 👤 openvinotoolkit Organization 🕐 更新日時 2026-11-21 📅 作成日 2018-09-26
33
triton-inference-server/tensorrtllm_backend

Triton TensorRT-LLM バックエンド

triton-inference-server
⭐ 944 👤 triton-inference-server Organization 🕐 更新日時 2026-11-02 📅 作成日 2023-09-12
34
replicate/replicate-python

Replicate 用 Python クライアント

replicate
⭐ 909 Python 👤 replicate Organization 🕐 更新日時 2025-08-26 📅 作成日 2022-05-11
35
zhihu/ZhiLight

Llama およびそのバリアント向けの高度に最適化された LLM 推論アクセラレーション エンジン。

zhihu
⭐ 906 C++ 👤 zhihu Organization 🕐 更新日時 2026-03-18 📅 作成日 2024-12-06
36
mosecorg/mosec

高パフォーマンスMLモデルサービングフレームワークは、動的バッチ処理とCPU/GPUパイプラインを提供し、コンピューティングマシンを最大限に活用します

mosecorg
⭐ 905 Python 👤 mosecorg Organization 🕐 更新日時 2026-11-02 📅 作成日 2021-03-13
37
trainindata/deploying-machine-learning-models

オンラインコース「機械学習モデルのデプロイメント」のコード

trainindata
⭐ 879 Jupyter Notebook 👤 trainindata Organization 🕐 更新日時 2024-08-20 📅 作成日 2019-01-09
38
InternLM/Intern-S1

科学的マルチモーダル基盤モデル

InternLM
⭐ 876 👤 InternLM Organization 🕐 更新日時 2026-09-13 📅 作成日 2025-07-25
39
bentoml/Yatai

Kubernetesでのモデルの大規模デプロイ 🦄️

bentoml
⭐ 843 TypeScript 👤 bentoml Organization 🕐 更新日時 2026-05-30 📅 作成日 2021-07-30
40
Tejas-TA/predikit

あなたの機械学習モデルとAIエージェントをつなぐ、欠けていた架け橋。

Tejas-TA
⭐ 840 Python 👤 Tejas-TA User 🕐 更新日時 2026-10-28 📅 作成日 2026-05-25
41
pegainfer-project/pegainfer

純粋な Rust + CUDA の LLM 推論エンジン — PyTorch 不要、OpenAI 互換、Qwen3 から Kimi-K2 まで対応

pegainfer-project
⭐ 748 Rust 👤 pegainfer-project Organization 🕐 更新日時 2026-11-21 📅 作成日 2026-02-17
42
abhishekkrthakur
⭐ 728 Python 👤 abhishekkrthakur User 🕐 更新日時 2024-09-14 📅 作成日 2021-10-26
43
ServerlessLLM/ServerlessLLM

すべての人々のためのサーバーレスLLMサービング。

ServerlessLLM
⭐ 720 Python 👤 ServerlessLLM Organization 🕐 更新日時 2026-09-04 📅 作成日 2024-01-23
44
kossisoroyce/timber

Ollama:古典的MLモデル用。XGBoost、LightGBM、scikit-learn、CatBoost、ONNXモデルをネイティブC99推論コードに変換するAOTコンパイラ。ロード1コマンド、サーブ1コマンド。Python推論の336倍高速。

kossisoroyce
⭐ 692 Python 👤 kossisoroyce User 🕐 更新日時 2026-04-16 📅 作成日 2026-02-27
46
mlfoundations/evalchemy

LLMの自動評価

mlfoundations
⭐ 617 HTML 👤 mlfoundations Organization 🕐 更新日時 2026-11-12 📅 作成日 2024-11-15
47
eightBEC/fastapi-ml-skeleton

機械学習モデルを本番対応で提供するためのFastAPIスケルトンアプリ。

eightBEC
⭐ 601 Python 👤 eightBEC User 🕐 更新日時 2026-01-08 📅 作成日 2020-02-15
48
predibase/llm_distillation_playbook

大規模言語モデルを蒸留するためのベストプラクティス。

predibase
⭐ 596 Jupyter Notebook 👤 predibase Organization 🕐 更新日時 2024-02-01 📅 作成日 2023-12-06
49
fufankeji/DeepSeek-OCR-Web

すぐに使える DeepSeek OCRドキュメント解析 Web Studio

fufankeji
⭐ 568 TypeScript 👤 fufankeji User 🕐 更新日時 2025-10-27 📅 作成日 2025-10-23

よくある質問

1

GitHubで最も人気のある#model-servingリポジトリは何ですか?

GitHubで最も上位にランクインしているオープンソースの#model-servingプロジェクトは、97,302個のスターを獲得しているvllm-project/vllmです。LLM向けの高性能・メモリ効率の高い推論およびサービングエンジン

2

#model-servingリポジトリで最もよく使われているプログラミング言語は何ですか?

GitHubで上位にランクインしている#model-servingプロジェクトでは、Python, Go, Rust, Jupyter Notebookが最も一般的なプログラミング言語です。

3

#model-servingリポジトリのランキングはどのように算出されていますか?

#model-servingのタグが付いた51件のアクティブなオープンソースリポジトリ(スター500個以上)を追跡しています。合計スター数は211,758個で、リポジトリあたりの平均は4,152個です。ランキングはGitHub APIからのデータに基づいて毎日更新されます。