Git Stars Git Stars

#kv-cache Dépôts

Découvrez 18 dépôts GitHub open source actifs associés à #kv-cache, cumulant 46,401 étoiles au total (soit une moyenne de 2,577 étoiles par projet). Le projet en tête de ce thème est LMCache/LMCache, avec 12,405 étoiles.

18
Total des Dépôts
46,401
Nombre total d'étoiles
2,577
Moyenne d'Étoiles/Dépôt
Langages de programmation: Python Go Rust Jupyter Notebook
1
LMCache/LMCache

LMCache : Boostez votre LLM avec la couche de cache KV la plus rapide

LMCache
⭐ 12,405 Python 👤 LMCache Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2024-05-28
2
bojieli/ai-infra-book

《Comprendre en profondeur l’infrastructure de l’IA : analyse quantitative et conception de systèmes》 (de Li Bojie), un manuscrit de livre open source : à partir des contraintes matérielles et de l’architecture des modèles, il déduit quantitativement la conception des systèmes d’inférence et d’entraînement des LLM. Comprend le texte intégral, le PDF, des outils de calcul associés et des expériences.

bojieli
⭐ 8,179 Python 👤 bojieli User 🕐 Mis à jour 2026-10-01 📅 Créé 2026-08-22
3
sgl-project/mini-sglang

Une implémentation compacte de SGLang, conçue pour démystifier les complexités des systèmes modernes de service de LLM.

sgl-project
⭐ 5,623 Python 👤 sgl-project Organization 🕐 Mis à jour 2026-05-17 📅 Créé 2025-09-01
4
HDT3213/godis

Un serveur et cluster Redis implémenté en Golang. Serveur et cluster distribué Redis implémenté en langage Go

HDT3213
⭐ 3,834 Go 👤 HDT3213 User 🕐 Mis à jour 2025-09-14 📅 Créé 2019-06-01
5
syv-ai/HyperQwen

Exécutez rapidement de grands modèles Qwen sur les GPU que vous possédez réellement. Qwen3.8-27B sur une seule carte de 24 Go avec vLLM : 127 tok/s pour un seul utilisateur (381 lorsque la réponse cite le prompt), environ 1 035 tok/s avec 64 requêtes simultanées, et un contexte de 150k à 262k. Correctifs vLLM, pipeline de re-quantification et benchmarks.

syv-ai
⭐ 2,778 Python 👤 syv-ai Organization 🕐 Mis à jour 2026-11-10 📅 Créé 2026-08-15
6
AI-Efficiency/Awesome-Model-Quantization

Une collection organisée d’articles, de benchmarks, de travaux de synthèse et d’outils sur la quantification des modèles, couvrant les réseaux à faible nombre de bits, les LLM, les modèles multimodaux et génératifs, la quantification vectorielle et par réseau, ainsi que le déploiement efficace.

AI-Efficiency
⭐ 2,471 👤 AI-Efficiency Organization 🕐 Mis à jour 2026-11-16 📅 Créé 2018-10-18
7
datawhalechina/zero-to-sglang

Cours officiel SGLang x Datawhale sur l’inférence des LLM : comprenez l’inférence, construisez un mini-SGLang depuis zéro, puis lisez le véritable code source de SGLang et soumettez votre première PR. Disponible en anglais et en chinois.

datawhalechina
⭐ 2,306 Python 👤 datawhalechina Organization 🕐 Mis à jour 2026-11-17 📅 Créé 2026-08-27
8
Zefan-Cai/KVCache-Factory

Méthodes unifiées de compression de cache KV pour modèles autorégressifs

Zefan-Cai
⭐ 1,393 Python 👤 Zefan-Cai User 🕐 Mis à jour 2026-08-13 📅 Créé 2024-06-05
9
NVIDIA/kvpress

Compression facile du cache KV LLM

NVIDIA
⭐ 1,258 Python 👤 NVIDIA Organization 🕐 Mis à jour 2026-11-16 📅 Créé 2024-11-06
10
harleyszhang/llm_note

Notes sur les LLM, y compris l'inférence de modèle, la structure du modèle Transformer et les notes d'analyse du code de framework LLM.

harleyszhang
⭐ 897 Python 👤 harleyszhang User 🕐 Mis à jour 2026-08-19 📅 Créé 2024-09-18
11
feifeibear/LLMSpeculativeSampling

Inférence rapide à partir de grands modèles de langage via le décodage spéculatif

feifeibear
⭐ 875 Python 👤 feifeibear User 🕐 Mis à jour 2024-08-22 📅 Créé 2023-08-16
12
thu-nics/C2C

[ICLR'26] Implémentation officielle du code de « Cache-to-Cache : Communication sémantique directe entre grands modèles de langage »

thu-nics
⭐ 783 Python 👤 thu-nics Organization 🕐 Mis à jour 2026-10-28 📅 Créé 2025-10-03
13
pegainfer-project/pegainfer

Moteur d'inférence LLM pur Rust + CUDA — pas de PyTorch, compatible OpenAI, sert de Qwen3 à Kimi-K2

pegainfer-project
⭐ 748 Rust 👤 pegainfer-project Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2026-02-17
14
raymin0223/mixture_of_recursions

Mélange de Récursions : Apprentissage de Profondeurs Récursives Dynamiques pour un Calcul Adaptatif au Niveau des Tokens (NeurIPS 2025)

raymin0223
⭐ 651 Python 👤 raymin0223 User 🕐 Mis à jour 2026-09-19 📅 Créé 2025-06-16
15
therealoliver/Deepdive-llama3-from-scratch

Réalisez l'étape d'inférence de llama3 étape par étape, saisissez les concepts clés, maîtrisez la dérivation du processus, implémentez le code.

therealoliver
⭐ 629 Jupyter Notebook 👤 therealoliver User 🕐 Mis à jour 2025-02-24 📅 Créé 2025-02-19
16
zengxiao-he/tessera

Du professeur aux tuiles — un moteur de distillation et de service LLM construit de zéro : noyaux Triton/CUDA personnalisés, distillation FSDP, traitement par lots continu avec KV paginé, décodage spéculatif, une passerelle Rust, un oracle JAX et des outils d'interprétabilité.

zengxiao-he
⭐ 556 Python 👤 zengxiao-he User 🕐 Mis à jour 2026-10-09 📅 Créé 2026-06-05
17
OmniJev/Flide

🔥🔥 Le moteur d’inférence ultra-rapide pour les modèles de décision

OmniJev
⭐ 550 Python 👤 OmniJev Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2026-10-24
18
huawei-csl/KVarN

KVarN est un backend natif vLLM de quantification du cache KV pour vos agents : 3 à 5 fois plus de contexte, un débit supérieur à FP16 et une précision de niveau FP16. Sans calibration, un seul indicateur.

huawei-csl
⭐ 521 Python 👤 huawei-csl Organization 🕐 Mis à jour 2026-06-22 📅 Créé 2026-05-29

Foire aux questions

1

Quel est le dépôt #kv-cache le plus populaire sur GitHub ?

Le projet #kv-cache open source le mieux classé sur GitHub est LMCache/LMCache, avec 12,405 étoiles. LMCache : Boostez votre LLM avec la couche de cache KV la plus rapide

2

Quels langages de programmation sont les plus utilisés dans les dépôts #kv-cache ?

Parmi les projets #kv-cache les mieux classés sur GitHub, les langages de programmation les plus courants sont Python, Go, Rust, Jupyter Notebook.

3

Comment le classement des dépôts #kv-cache est-il calculé ?

Nous suivons 18 dépôts open source actifs associés à #kv-cache (500+ étoiles), totalisant 46,401 étoiles, avec une moyenne de 2,577 étoiles par dépôt. Les classements sont mis à jour quotidiennement à partir de l’API GitHub.