#kv-cache リポジトリ
#kv-cacheのタグが付いた、GitHub上の18件のアクティブなオープンソースリポジトリをご覧ください。合計スター数は46,401個で、プロジェクトあたりの平均は2,577個です。このトピックをリードしているのは、12,405個のスターを獲得しているLMCache/LMCacheです。
リポジトリ合計18件
『AIインフラを深く理解する:定量分析とシステム設計』(李博杰 著)、オープンソースの書籍原稿:ハードウェアの制約とモデルアーキテクチャを起点に、LLMの推論・学習システムの設計を定量的に導出します。書籍全文、PDF、関連する計算ツール、実験を収録。
実際に所有しているGPUで、大規模なQwenモデルを高速にサーブします。vLLMを使い、24 GBのカード1枚でQwen3.8-27Bを実行:単一ユーザーで127 tok/s(回答がプロンプトを引用する場合は381 tok/s)、64並列で約1,035 tok/s、コンテキスト長は150k~262k。vLLMのパッチ、再量子化パイプライン、ベンチマーク。
モデル量子化に関する論文、ベンチマーク、サーベイ、ツールを厳選してまとめたコレクション。低ビットネットワーク、LLM、マルチモーダルモデルおよび生成モデル、ベクトル量子化と格子量子化、効率的なデプロイを扱います。
LLM推論に関するSGLang x Datawhale公式コース:推論を理解し、ゼロからミニSGLangを構築し、実際のSGLangソースコードを読んで、初めてのPRを提出しましょう。英語版と中国語版を提供しています。
純粋な Rust + CUDA の LLM 推論エンジン — PyTorch 不要、OpenAI 互換、Qwen3 から Kimi-K2 まで対応
llama3 の推論ステップを段階的に実行し、コアコンセプトを把握し、プロセス導出をマスターし、コードを実装します。
教師からタイルへ — ゼロから構築したLLM蒸留&サービングエンジン:カスタムTriton/CUDAカーネル、FSDP蒸留、ページングKV連続バッチ処理、投機的デコード、Rustゲートウェイ、JAXオラクル、解釈可能性ツール。
KVarNは、エージェント向けのネイティブvLLM KVキャッシュ量子化バックエンドです。コンテキストを3~5倍に拡張し、FP16を上回るスループットとFP16レベルの精度を実現します。キャリブレーション不要、フラグ1つで利用できます。
よくある質問
GitHubで最も人気のある#kv-cacheリポジトリは何ですか?
GitHubで最も上位にランクインしているオープンソースの#kv-cacheプロジェクトは、12,405個のスターを獲得しているLMCache/LMCacheです。LMCache: 最速のKVキャッシュ層でLLMをスーパーチャージ
#kv-cacheリポジトリで最もよく使われているプログラミング言語は何ですか?
GitHubで上位にランクインしている#kv-cacheプロジェクトでは、Python, Go, Rust, Jupyter Notebookが最も一般的なプログラミング言語です。
#kv-cacheリポジトリのランキングはどのように算出されていますか?
#kv-cacheのタグが付いた18件のアクティブなオープンソースリポジトリ(スター500個以上)を追跡しています。合計スター数は46,401個で、リポジトリあたりの平均は2,577個です。ランキングはGitHub APIからのデータに基づいて毎日更新されます。