Git Stars Git Stars

#vllm リポジトリ

133
リポジトリ総数
554,542
合計スター数
4,169
リポジトリあたりの平均スター数

リポジトリ合計134件

101
ModelTC/LightCompress

[EMNLP 2024 & AAAI 2026] LLM、VLM、およびビデオ生成モデルを含む大規模モデルを圧縮するための強力なツールキット。

ModelTC
⭐ 755 Python 👤 ModelTC Organization 🕐 更新日時 2026-05-14 📅 作成日 2024-03-06
102
pegainfer-project/pegainfer

純粋な Rust + CUDA の LLM 推論エンジン — PyTorch 不要、OpenAI 互換、Qwen3 から Kimi-K2 まで対応

pegainfer-project
⭐ 748 Rust 👤 pegainfer-project Organization 🕐 更新日時 2026-11-21 📅 作成日 2026-02-17
103
smg-project/smg

Rustで構築されたエンジン非依存のLLMゲートウェイ。vLLM、TRT-LLM、TokenSpeed、SGLang、OpenAI、GeminiなどでOpenAIおよびAnthropic APIに完全対応。業界初のgRPCパイプライン、KVキャッシュを考慮したルーティング、チャット履歴、トークン化キャッシュ、Responses API、埋め込み、WASMプラグイン、MCP、マルチテナント認証を提供します。

smg-project
⭐ 736 Rust 👤 smg-project Organization 🕐 更新日時 2026-11-21 📅 作成日 2025-11-22
104
microsoft/vidur

正確で大規模かつ拡張可能なLLM推論システムシミュレータ

microsoft
⭐ 733 Python 👤 microsoft Organization 🕐 更新日時 2026-08-24 📅 作成日 2023-11-02
106
SimonZeng7108/efficientsam3

EfficientSAM3 は、プログレッシブな知識蒸留により SAM3 を軽量でエッジフレンドリーなモデルに圧縮し、高速なプロンプト可能な概念セグメンテーションとトラッキングを実現します。

SimonZeng7108
⭐ 713 Jupyter Notebook 👤 SimonZeng7108 User 🕐 更新日時 2026-08-11 📅 作成日 2025-10-16
⭐ 703 Python 👤 stepfun-ai Organization 🕐 更新日時 2026-04-29 📅 作成日 2025-11-11
108
ChenxinAn-fdu/POLARIS

高度な推論モデルにおけるRLのスケーリング

ChenxinAn-fdu
⭐ 697 Python 👤 ChenxinAn-fdu User 🕐 更新日時 2025-10-20 📅 作成日 2025-06-18
109
IEIT-Yuan/Yuan-2.0

Yuan 2.0 大規模言語モデル

IEIT-Yuan
⭐ 689 Python 👤 IEIT-Yuan Organization 🕐 更新日時 2024-07-11 📅 作成日 2023-11-26
110
mlabonne/llm-autoeval

Google ColabでLLMを自動評価する

mlabonne
⭐ 678 Python 👤 mlabonne User 🕐 更新日時 2024-05-07 📅 作成日 2024-01-01
111
owenliang/qwen-vllm

Tongyi Qianwen VLLM 推論デプロイメント DEMO

owenliang
⭐ 637 Python 👤 owenliang User 🕐 更新日時 2024-03-28 📅 作成日 2024-01-21
112
firstbatchxyz/mem-agent-mcp

mem-agent mcp server

firstbatchxyz
⭐ 628 Python 👤 firstbatchxyz Organization 🕐 更新日時 2025-11-17 📅 作成日 2025-09-01
113
mlfoundations/evalchemy

LLMの自動評価

mlfoundations
⭐ 617 HTML 👤 mlfoundations Organization 🕐 更新日時 2026-11-12 📅 作成日 2024-11-15
114
jaylfc/taOS

セルフホスト型AIエージェントOS。メモリ、チャット、エージェント、ファイルはすべて所有するハードウェア内に保持され、デフォルトでオフライン、必要に応じてクラウドを利用可能です。オフラインAIメモリ(taOSmd)、セルフホスト型マルチフレームワーク・グループチャット、フル機能のWebデスクトップ+アプリストア、そして既存のコンシューマーハードウェア(Orange/Raspberry Pi、Mac mini、ゲーミングPC)間での自動クラスタリング機能を備えています。

jaylfc
⭐ 609 Python 👤 jaylfc User 🕐 更新日時 2026-11-20 📅 作成日 2026-04-05
115
HuiResearch/FlashTTS

SparkTTS、OrpheusTTSなどのモデルに基づき、高品質な中国語音声合成および音声クローンサービスを提供します。

HuiResearch
⭐ 603 Python 👤 HuiResearch User 🕐 更新日時 2025-05-18 📅 作成日 2025-03-13
116
MoonshotAI/K2-Vendor-Verifier

すべてのKimi K2 APIベンダーの精度を確認する

MoonshotAI
⭐ 602 Python 👤 MoonshotAI Organization 🕐 更新日時 2026-02-14 📅 作成日 2025-09-09
117
llmmanorg/llmman

任意のモデル上で任意のエージェントを実行し、モデルは OCI イメージとして保存

llmmanorg
⭐ 598 Rust 👤 llmmanorg Organization 🕐 更新日時 2026-11-21 📅 作成日 2026-03-22
119
kacper-daftcode/vLLM-Moet

RTX PRO 6000 / RTX 5090(sm_120)で動作する最先端MoEモデル:4基のRTX PRO 6000でのDeepSeek-V4.1-Flash、4基のRTX 5090でのGPU+CPUハイブリッド構成、およびvLLM v0.24.0での2ビットエキスパート

kacper-daftcode
⭐ 580 Sass 👤 kacper-daftcode User 🕐 更新日時 2026-11-18 📅 作成日 2026-06-15
120
raids-lab/crater

Crater はクラウドネイティブな AI トレーニング&推論プラットフォームです。

raids-lab
⭐ 578 Go 👤 raids-lab Organization 🕐 更新日時 2026-11-20 📅 作成日 2025-06-08
⭐ 568 Python 👤 pipecat-ai Organization 🕐 更新日時 2026-06-03 📅 作成日 2026-01-01
122
fufankeji/DeepSeek-OCR-Web

すぐに使える DeepSeek OCRドキュメント解析 Web Studio

fufankeji
⭐ 568 TypeScript 👤 fufankeji User 🕐 更新日時 2025-10-27 📅 作成日 2025-10-23
123
spark-arena/sparkrun

sparkrun — NVIDIA DGX Spark システム上で LLM 推論ワークロードを起動、管理、停止します。ライブサポート:https://discord.com/invite/GH5kRgv6ZD

spark-arena
⭐ 567 Python 👤 spark-arena Organization 🕐 更新日時 2026-11-17 📅 作成日 2026-02-16
124
FlagOpen/RoboBrain

[CVPR 2025] RoboBrain: 抽象から具体へのロボット操作のための統一脳モデル。公式リポジトリ。

FlagOpen
⭐ 564 Python 👤 FlagOpen Organization 🕐 更新日時 2025-10-13 📅 作成日 2025-03-27
125
llumnix-project/llumnix-ray

効率的で簡単なマルチインスタンスLLMサービング

llumnix-project
⭐ 561 Python 👤 llumnix-project Organization 🕐 更新日時 2026-03-12 📅 作成日 2024-05-20
126
01-ai/Yi-1.5

Yi-1.5はYiのアップグレード版であり、コーディング、数学、推論、指示追従能力においてより強力なパフォーマンスを提供します。

01-ai
⭐ 557 👤 01-ai Organization 🕐 更新日時 2024-11-11 📅 作成日 2024-05-10
128
micytao/vllm-playground

vLLMサーバー (www.github.com/vllm-project/vllm) を管理・操作するためのモダンなWebインターフェース。GPUおよびCPUモードの両方をサポートし、macOS Apple SiliconやOpenShift/Kubernetes上でのエンタープライズ展開に向けた特別な最適化が施されています。

micytao
⭐ 548 JavaScript 👤 micytao User 🕐 更新日時 2026-11-07 📅 作成日 2025-11-01
129
Yzw202011/OmniSpace

ローカルファーストのフルスタックAI創作ワークステーション。AIチャット、AI漫画、漫画ドラマ制作、ライティングデスク、知識学習の5つのモジュールを搭載。vLLM / llama.cpp / Transformersによる複数エンジン対応のローカル推論、VRAMのインテリジェントな割り当て、バルクヘッド隔離と自動復旧に対応。学習目的のみでご利用ください。ご意見・ご指摘を歓迎します。(プラグインシステムを除く最新の進捗は、プロトコル上の制約により、現在リポジトリにコミットできません。)

Yzw202011
⭐ 536 Python 👤 Yzw202011 User 🕐 更新日時 2026-09-20 📅 作成日 2026-08-23
130
ome-projects/ome

Open Model Engine (OME) — LLM のサービング、GPU スケジューリング、モデルのライフサイクル管理を行う Kubernetes オペレーター。SGLang、vLLM、TensorRT-LLM、Triton に対応

ome-projects
⭐ 529 Go 👤 ome-projects Organization 🕐 更新日時 2026-11-21 📅 作成日 2025-05-19
131
huawei-csl/KVarN

KVarNは、エージェント向けのネイティブvLLM KVキャッシュ量子化バックエンドです。コンテキストを3~5倍に拡張し、FP16を上回るスループットとFP16レベルの精度を実現します。キャリブレーション不要、フラグ1つで利用できます。

huawei-csl
⭐ 521 Python 👤 huawei-csl Organization 🕐 更新日時 2026-06-22 📅 作成日 2026-05-29
132
adventists-ai/sophon-realtime

あなたの声のトーンを聞き取り、それに合ったトーンで話すオープンな全二重音声モデル。vLLM-Omniなら1基のGPUで、MLXならMac上で完全オフライン実行が可能。ゼロショット音声クローン、OpenAI Realtime / GPT-Live互換、ホスト型APIの無料トライアルを提供。Apache-2.0。

adventists-ai
⭐ 510 Python 👤 adventists-ai Organization 🕐 更新日時 2026-11-20 📅 作成日 2026-11-04
133
Chen-zexi/vllm-cli

vLLMを使用してLLMを提供するためのコマンドラインインターフェースツール。

Chen-zexi
⭐ 507 Python 👤 Chen-zexi User 🕐 更新日時 2026-01-25 📅 作成日 2025-08-14
134
AEON-7/Qwen3.6-27B-AEON-Ultimate-Uncensored-DFlash

完全無検閲・能力強化版の Qwen3.6-27B。統合コンテナ ghcr.io/aeon-7/aeon-vllm-ultimate:latest 上で NVFP4 + z-lab DFlash 推測デコーディング(n=12)を使用し、DGX Spark における長文コンテキストのドラフト受理率向けに調整。HF バリアント 6 種(BF16/NVFP4/MTP/MTP-XS)、docker-compose、QuickStart を提供。

AEON-7
⭐ 501 Python 👤 AEON-7 User 🕐 更新日時 2026-11-13 📅 作成日 2026-04-25