Git Stars Git Stars

#kv-cache リポジトリ

#kv-cacheのタグが付いた、GitHub上の18件のアクティブなオープンソースリポジトリをご覧ください。合計スター数は46,401個で、プロジェクトあたりの平均は2,577個です。このトピックをリードしているのは、12,405個のスターを獲得しているLMCache/LMCacheです。

18
リポジトリ総数
46,401
合計スター数
2,577
リポジトリあたりの平均スター数
プログラミング言語: Python Go Rust Jupyter Notebook

リポジトリ合計18件

1
LMCache/LMCache

LMCache: 最速のKVキャッシュ層でLLMをスーパーチャージ

LMCache
⭐ 12,405 Python 👤 LMCache Organization 🕐 更新日時 2026-11-21 📅 作成日 2024-05-28
2
bojieli/ai-infra-book

『AIインフラを深く理解する:定量分析とシステム設計』(李博杰 著)、オープンソースの書籍原稿:ハードウェアの制約とモデルアーキテクチャを起点に、LLMの推論・学習システムの設計を定量的に導出します。書籍全文、PDF、関連する計算ツール、実験を収録。

bojieli
⭐ 8,179 Python 👤 bojieli User 🕐 更新日時 2026-10-01 📅 作成日 2026-08-22
3
sgl-project/mini-sglang

現代のLLM提供システムの複雑さを解明するために設計された、SGLangのコンパクトな実装です。

sgl-project
⭐ 5,623 Python 👤 sgl-project Organization 🕐 更新日時 2026-05-17 📅 作成日 2025-09-01
4
HDT3213/godis

Golang で実装された Redis サーバーとクラスタ。Go 言語で実装された Redis サーバーと分散クラスタ

HDT3213
⭐ 3,834 Go 👤 HDT3213 User 🕐 更新日時 2025-09-14 📅 作成日 2019-06-01
5
syv-ai/HyperQwen

実際に所有しているGPUで、大規模なQwenモデルを高速にサーブします。vLLMを使い、24 GBのカード1枚でQwen3.8-27Bを実行:単一ユーザーで127 tok/s(回答がプロンプトを引用する場合は381 tok/s)、64並列で約1,035 tok/s、コンテキスト長は150k~262k。vLLMのパッチ、再量子化パイプライン、ベンチマーク。

syv-ai
⭐ 2,778 Python 👤 syv-ai Organization 🕐 更新日時 2026-11-10 📅 作成日 2026-08-15
6
AI-Efficiency/Awesome-Model-Quantization

モデル量子化に関する論文、ベンチマーク、サーベイ、ツールを厳選してまとめたコレクション。低ビットネットワーク、LLM、マルチモーダルモデルおよび生成モデル、ベクトル量子化と格子量子化、効率的なデプロイを扱います。

AI-Efficiency
⭐ 2,471 👤 AI-Efficiency Organization 🕐 更新日時 2026-11-16 📅 作成日 2018-10-18
7
datawhalechina/zero-to-sglang

LLM推論に関するSGLang x Datawhale公式コース:推論を理解し、ゼロからミニSGLangを構築し、実際のSGLangソースコードを読んで、初めてのPRを提出しましょう。英語版と中国語版を提供しています。

datawhalechina
⭐ 2,306 Python 👤 datawhalechina Organization 🕐 更新日時 2026-11-17 📅 作成日 2026-08-27
8
Zefan-Cai/KVCache-Factory

自己回帰モデルのための統一された KV キャッシュ圧縮方法

Zefan-Cai
⭐ 1,393 Python 👤 Zefan-Cai User 🕐 更新日時 2026-08-13 📅 作成日 2024-06-05
9
NVIDIA/kvpress

LLM KVキャッシュ圧縮を簡単に

NVIDIA
⭐ 1,258 Python 👤 NVIDIA Organization 🕐 更新日時 2026-11-16 📅 作成日 2024-11-06
10
harleyszhang/llm_note

モデル推論、トランスフォーマーモデル構造、LLMフレームワークコード分析ノートを含むLLMノート。

harleyszhang
⭐ 897 Python 👤 harleyszhang User 🕐 更新日時 2026-08-19 📅 作成日 2024-09-18
11
feifeibear/LLMSpeculativeSampling

投機的デコーディングによる大規模言語モデルからの高速推論

feifeibear
⭐ 875 Python 👤 feifeibear User 🕐 更新日時 2024-08-22 📅 作成日 2023-08-16
12
thu-nics/C2C

[ICLR'26]「Cache-to-Cache: 大規模言語モデル間の直接的な意味通信」の公式コード実装

thu-nics
⭐ 783 Python 👤 thu-nics Organization 🕐 更新日時 2026-10-28 📅 作成日 2025-10-03
13
pegainfer-project/pegainfer

純粋な Rust + CUDA の LLM 推論エンジン — PyTorch 不要、OpenAI 互換、Qwen3 から Kimi-K2 まで対応

pegainfer-project
⭐ 748 Rust 👤 pegainfer-project Organization 🕐 更新日時 2026-11-21 📅 作成日 2026-02-17
14
raymin0223/mixture_of_recursions

再帰の混合:適応的なトークンレベル計算のための動的な再帰深度の学習 (NeurIPS 2025)

raymin0223
⭐ 651 Python 👤 raymin0223 User 🕐 更新日時 2026-09-19 📅 作成日 2025-06-16
15
therealoliver/Deepdive-llama3-from-scratch

llama3 の推論ステップを段階的に実行し、コアコンセプトを把握し、プロセス導出をマスターし、コードを実装します。

therealoliver
⭐ 629 Jupyter Notebook 👤 therealoliver User 🕐 更新日時 2025-02-24 📅 作成日 2025-02-19
16
zengxiao-he/tessera

教師からタイルへ — ゼロから構築したLLM蒸留&サービングエンジン:カスタムTriton/CUDAカーネル、FSDP蒸留、ページングKV連続バッチ処理、投機的デコード、Rustゲートウェイ、JAXオラクル、解釈可能性ツール。

zengxiao-he
⭐ 556 Python 👤 zengxiao-he User 🕐 更新日時 2026-10-09 📅 作成日 2026-06-05
17
OmniJev/Flide

🔥🔥 意思決定モデル向けの超高速推論エンジン

OmniJev
⭐ 550 Python 👤 OmniJev Organization 🕐 更新日時 2026-11-21 📅 作成日 2026-10-24
18
huawei-csl/KVarN

KVarNは、エージェント向けのネイティブvLLM KVキャッシュ量子化バックエンドです。コンテキストを3~5倍に拡張し、FP16を上回るスループットとFP16レベルの精度を実現します。キャリブレーション不要、フラグ1つで利用できます。

huawei-csl
⭐ 521 Python 👤 huawei-csl Organization 🕐 更新日時 2026-06-22 📅 作成日 2026-05-29

よくある質問

1

GitHubで最も人気のある#kv-cacheリポジトリは何ですか?

GitHubで最も上位にランクインしているオープンソースの#kv-cacheプロジェクトは、12,405個のスターを獲得しているLMCache/LMCacheです。LMCache: 最速のKVキャッシュ層でLLMをスーパーチャージ

2

#kv-cacheリポジトリで最もよく使われているプログラミング言語は何ですか?

GitHubで上位にランクインしている#kv-cacheプロジェクトでは、Python, Go, Rust, Jupyter Notebookが最も一般的なプログラミング言語です。

3

#kv-cacheリポジトリのランキングはどのように算出されていますか?

#kv-cacheのタグが付いた18件のアクティブなオープンソースリポジトリ(スター500個以上)を追跡しています。合計スター数は46,401個で、リポジトリあたりの平均は2,577個です。ランキングはGitHub APIからのデータに基づいて毎日更新されます。