#kv-cache Dépôts
Découvrez 18 dépôts GitHub open source actifs associés à #kv-cache, cumulant 46,401 étoiles au total (soit une moyenne de 2,577 étoiles par projet). Le projet en tête de ce thème est LMCache/LMCache, avec 12,405 étoiles.
18 dépôts au total
《Comprendre en profondeur l’infrastructure de l’IA : analyse quantitative et conception de systèmes》 (de Li Bojie), un manuscrit de livre open source : à partir des contraintes matérielles et de l’architecture des modèles, il déduit quantitativement la conception des systèmes d’inférence et d’entraînement des LLM. Comprend le texte intégral, le PDF, des outils de calcul associés et des expériences.
Une implémentation compacte de SGLang, conçue pour démystifier les complexités des systèmes modernes de service de LLM.
Un serveur et cluster Redis implémenté en Golang. Serveur et cluster distribué Redis implémenté en langage Go
Exécutez rapidement de grands modèles Qwen sur les GPU que vous possédez réellement. Qwen3.8-27B sur une seule carte de 24 Go avec vLLM : 127 tok/s pour un seul utilisateur (381 lorsque la réponse cite le prompt), environ 1 035 tok/s avec 64 requêtes simultanées, et un contexte de 150k à 262k. Correctifs vLLM, pipeline de re-quantification et benchmarks.
Une collection organisée d’articles, de benchmarks, de travaux de synthèse et d’outils sur la quantification des modèles, couvrant les réseaux à faible nombre de bits, les LLM, les modèles multimodaux et génératifs, la quantification vectorielle et par réseau, ainsi que le déploiement efficace.
Cours officiel SGLang x Datawhale sur l’inférence des LLM : comprenez l’inférence, construisez un mini-SGLang depuis zéro, puis lisez le véritable code source de SGLang et soumettez votre première PR. Disponible en anglais et en chinois.
Méthodes unifiées de compression de cache KV pour modèles autorégressifs
Notes sur les LLM, y compris l'inférence de modèle, la structure du modèle Transformer et les notes d'analyse du code de framework LLM.
Inférence rapide à partir de grands modèles de langage via le décodage spéculatif
[ICLR'26] Implémentation officielle du code de « Cache-to-Cache : Communication sémantique directe entre grands modèles de langage »
Moteur d'inférence LLM pur Rust + CUDA — pas de PyTorch, compatible OpenAI, sert de Qwen3 à Kimi-K2
Mélange de Récursions : Apprentissage de Profondeurs Récursives Dynamiques pour un Calcul Adaptatif au Niveau des Tokens (NeurIPS 2025)
Réalisez l'étape d'inférence de llama3 étape par étape, saisissez les concepts clés, maîtrisez la dérivation du processus, implémentez le code.
Du professeur aux tuiles — un moteur de distillation et de service LLM construit de zéro : noyaux Triton/CUDA personnalisés, distillation FSDP, traitement par lots continu avec KV paginé, décodage spéculatif, une passerelle Rust, un oracle JAX et des outils d'interprétabilité.
KVarN est un backend natif vLLM de quantification du cache KV pour vos agents : 3 à 5 fois plus de contexte, un débit supérieur à FP16 et une précision de niveau FP16. Sans calibration, un seul indicateur.
Foire aux questions
Quel est le dépôt #kv-cache le plus populaire sur GitHub ?
Le projet #kv-cache open source le mieux classé sur GitHub est LMCache/LMCache, avec 12,405 étoiles. LMCache : Boostez votre LLM avec la couche de cache KV la plus rapide
Quels langages de programmation sont les plus utilisés dans les dépôts #kv-cache ?
Parmi les projets #kv-cache les mieux classés sur GitHub, les langages de programmation les plus courants sont Python, Go, Rust, Jupyter Notebook.
Comment le classement des dépôts #kv-cache est-il calculé ?
Nous suivons 18 dépôts open source actifs associés à #kv-cache (500+ étoiles), totalisant 46,401 étoiles, avec une moyenne de 2,577 étoiles par dépôt. Les classements sont mis à jour quotidiennement à partir de l’API GitHub.