#vllm リポジトリ
リポジトリ合計134件
純粋な Rust + CUDA の LLM 推論エンジン — PyTorch 不要、OpenAI 互換、Qwen3 から Kimi-K2 まで対応
Rustで構築されたエンジン非依存のLLMゲートウェイ。vLLM、TRT-LLM、TokenSpeed、SGLang、OpenAI、GeminiなどでOpenAIおよびAnthropic APIに完全対応。業界初のgRPCパイプライン、KVキャッシュを考慮したルーティング、チャット履歴、トークン化キャッシュ、Responses API、埋め込み、WASMプラグイン、MCP、マルチテナント認証を提供します。
EfficientSAM3 は、プログレッシブな知識蒸留により SAM3 を軽量でエッジフレンドリーなモデルに圧縮し、高速なプロンプト可能な概念セグメンテーションとトラッキングを実現します。
セルフホスト型AIエージェントOS。メモリ、チャット、エージェント、ファイルはすべて所有するハードウェア内に保持され、デフォルトでオフライン、必要に応じてクラウドを利用可能です。オフラインAIメモリ(taOSmd)、セルフホスト型マルチフレームワーク・グループチャット、フル機能のWebデスクトップ+アプリストア、そして既存のコンシューマーハードウェア(Orange/Raspberry Pi、Mac mini、ゲーミングPC)間での自動クラスタリング機能を備えています。
RTX PRO 6000 / RTX 5090(sm_120)で動作する最先端MoEモデル:4基のRTX PRO 6000でのDeepSeek-V4.1-Flash、4基のRTX 5090でのGPU+CPUハイブリッド構成、およびvLLM v0.24.0での2ビットエキスパート
sparkrun — NVIDIA DGX Spark システム上で LLM 推論ワークロードを起動、管理、停止します。ライブサポート:https://discord.com/invite/GH5kRgv6ZD
vLLMサーバー (www.github.com/vllm-project/vllm) を管理・操作するためのモダンなWebインターフェース。GPUおよびCPUモードの両方をサポートし、macOS Apple SiliconやOpenShift/Kubernetes上でのエンタープライズ展開に向けた特別な最適化が施されています。
ローカルファーストのフルスタックAI創作ワークステーション。AIチャット、AI漫画、漫画ドラマ制作、ライティングデスク、知識学習の5つのモジュールを搭載。vLLM / llama.cpp / Transformersによる複数エンジン対応のローカル推論、VRAMのインテリジェントな割り当て、バルクヘッド隔離と自動復旧に対応。学習目的のみでご利用ください。ご意見・ご指摘を歓迎します。(プラグインシステムを除く最新の進捗は、プロトコル上の制約により、現在リポジトリにコミットできません。)
Open Model Engine (OME) — LLM のサービング、GPU スケジューリング、モデルのライフサイクル管理を行う Kubernetes オペレーター。SGLang、vLLM、TensorRT-LLM、Triton に対応
KVarNは、エージェント向けのネイティブvLLM KVキャッシュ量子化バックエンドです。コンテキストを3~5倍に拡張し、FP16を上回るスループットとFP16レベルの精度を実現します。キャリブレーション不要、フラグ1つで利用できます。
あなたの声のトーンを聞き取り、それに合ったトーンで話すオープンな全二重音声モデル。vLLM-Omniなら1基のGPUで、MLXならMac上で完全オフライン実行が可能。ゼロショット音声クローン、OpenAI Realtime / GPT-Live互換、ホスト型APIの無料トライアルを提供。Apache-2.0。
完全無検閲・能力強化版の Qwen3.6-27B。統合コンテナ ghcr.io/aeon-7/aeon-vllm-ultimate:latest 上で NVFP4 + z-lab DFlash 推測デコーディング(n=12)を使用し、DGX Spark における長文コンテキストのドラフト受理率向けに調整。HF バリアント 6 種(BF16/NVFP4/MTP/MTP-XS)、docker-compose、QuickStart を提供。