#llm-serving リポジトリ
#llm-servingのタグが付いた、GitHub上の44件のアクティブなオープンソースリポジトリをご覧ください。合計スター数は381,346個で、プロジェクトあたりの平均は8,666個です。このトピックをリードしているのは、97,302個のスターを獲得しているvllm-project/vllmです。
リポジトリ合計44件
TensorRT LLM は、ユーザーが大規模言語モデル(LLM)を定義するための使いやすい Python API を提供し、NVIDIA GPU 上で効率的に推論を実行するための最先端の最適化をサポートします。TensorRT LLM には、パフォーマンスの高い方法で推論実行をオーケストレーションする Python および C++ ランタイムを作成するためのコンポーネントも含まれています。
最先端チーム向けAIコンピュートプラットフォーム。SkyPilotは断片化されたAIコンピュートを1つのAIスーパーコンピュータに変え、最先端のAIチームがより迅速にカスタムインテリジェンスを構築できるようにします。
『AIインフラを深く理解する:定量分析とシステム設計』(李博杰 著)、オープンソースの書籍原稿:ハードウェアの制約とモデルアーキテクチャを起点に、LLMの推論・学習システムの設計を定量的に導出します。書籍全文、PDF、関連する計算ツール、実験を収録。
モデルのトレーニング、サービング、ファインチューニング、LLMアプリケーションの構築をカバーする、大規模言語モデルのリソースのキュレーションリスト。
AWS Trainium向けのオープンなLLM推論エンジン:NKIメガカーネル、100万トークンのコンテキスト、OpenAI互換API。RunAnywhere提供。
最先端APIのように動作するローカル推論:AMD Strix Halo上のQwen3.8-Flash-Nextと小型NPUモデルを、OpenAIおよびAnthropicのAPI経由で単一ポートから利用。
[NeurIPS'24 Spotlight, ICLR'25, ICML'25] Long-context LLMの推論を高速化するために、近似的かつ動的なスパース計算によりアテンションを計算し、A100でのプリフィルにおいて推論レイテンシを最大10倍削減し、精度を維持します。
[MLSys'25] QServe: 効率的なLLMサービングのためのW4A8KV4量子化とシステムコデザイン; [MLSys'25] LServe: 統一されたスパースアテンションによる効率的な長シーケンスLLMサービング
♾️ スペックコーディング付きプライベートエージェントフリート。各エージェントに独自のGPUアクセラレーテッドデスクトップ。Claude、Codex、Gemini、オープンモデルをフルプライベートAIスタックで実行 ♾️
無料の Kaggle TPU v5e-8 上で動作する最先端クラスのオープンモデル:GLM-5.3-Flash 320B MoE(約165 tok/s、独自の JAX エンジン使用)と Qwen3.8-27B bf16(約130 tok/s)。262k コンテキスト、プレフィックスキャッシュに対応。Claude Code、Codex、opencode、pi で利用できます。
純粋な Rust + CUDA の LLM 推論エンジン — PyTorch 不要、OpenAI 互換、Qwen3 から Kimi-K2 まで対応
よくある質問
GitHubで最も人気のある#llm-servingリポジトリは何ですか?
GitHubで最も上位にランクインしているオープンソースの#llm-servingプロジェクトは、97,302個のスターを獲得しているvllm-project/vllmです。LLM向けの高性能・メモリ効率の高い推論およびサービングエンジン
#llm-servingリポジトリで最もよく使われているプログラミング言語は何ですか?
GitHubで上位にランクインしている#llm-servingプロジェクトでは、Python, Jupyter Notebook, Rust, C++が最も一般的なプログラミング言語です。
#llm-servingリポジトリのランキングはどのように算出されていますか?
#llm-servingのタグが付いた44件のアクティブなオープンソースリポジトリ(スター500個以上)を追跡しています。合計スター数は381,346個で、リポジトリあたりの平均は8,666個です。ランキングはGitHub APIからのデータに基づいて毎日更新されます。