Git Stars Git Stars

#kv-cache Репозитории

Откройте для себя 18 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #kv-cache, с общим числом 46,401 звёзд (в среднем 2,577 на проект). Лидером этой темы является LMCache/LMCache, набравший 12,405 звёзд.

18
Всего репозиториев
46,401
Всего звезд
2,577
Среднее количество звезд на репозиторий
Языки программирования: Python Go Rust Jupyter Notebook

Всего репозиториев: 18

1
LMCache/LMCache

LMCache: Ускорьте свою LLM с помощью самого быстрого уровня кэширования KV

LMCache
⭐ 12,405 Python 👤 LMCache Organization 🕐 Обновлено 2026-11-21 📅 Создано 2024-05-28
2
bojieli/ai-infra-book

《Глубокое понимание AI-инфраструктуры: количественный анализ и проектирование систем》 (автор — Ли Боцзе), рукопись книги с открытым исходным кодом: исходя из аппаратных ограничений и архитектур моделей, количественно выводит принципы проектирования систем инференса и обучения LLM. Включает полный текст книги, PDF, сопутствующие вычислительные инструменты и эксперименты.

bojieli
⭐ 8,179 Python 👤 bojieli User 🕐 Обновлено 2026-10-01 📅 Создано 2026-08-22
3
sgl-project/mini-sglang

Компактная реализация SGLang, разработанная для того, чтобы упростить понимание сложностей современных систем обслуживания LLM.

sgl-project
⭐ 5,623 Python 👤 sgl-project Organization 🕐 Обновлено 2026-05-17 📅 Создано 2025-09-01
4
HDT3213/godis

Сервер и кластер Redis, реализованные на Golang. Сервер и распределённый кластер Redis, реализованные на языке Go

HDT3213
⭐ 3,834 Go 👤 HDT3213 User 🕐 Обновлено 2025-09-14 📅 Создано 2019-06-01
5
syv-ai/HyperQwen

Быстро обслуживайте большие модели Qwen на тех GPU, которыми вы действительно располагаете. Qwen3.8-27B на одной карте объёмом 24 ГБ с vLLM: 127 ток/с для одного пользователя (381, когда ответ цитирует промпт), около 1 035 ток/с при 64 одновременных запросах, контекст 150k–262k. Патчи для vLLM, конвейер повторной квантизации и бенчмарки.

syv-ai
⭐ 2,778 Python 👤 syv-ai Organization 🕐 Обновлено 2026-11-10 📅 Создано 2026-08-15
6
AI-Efficiency/Awesome-Model-Quantization

Подборка статей, бенчмарков, обзорных материалов и инструментов по квантованию моделей, охватывающая низкоразрядные сети, LLM, мультимодальные и генеративные модели, векторное и решёточное квантование, а также эффективное развертывание.

AI-Efficiency
⭐ 2,471 👤 AI-Efficiency Organization 🕐 Обновлено 2026-11-16 📅 Создано 2018-10-18
7
datawhalechina/zero-to-sglang

Официальный курс SGLang x Datawhale по инференсу LLM: разберитесь в инференсе, создайте мини-SGLang с нуля, затем изучите настоящий исходный код SGLang и отправьте свой первый PR. Доступен на английском и китайском языках.

datawhalechina
⭐ 2,306 Python 👤 datawhalechina Organization 🕐 Обновлено 2026-11-17 📅 Создано 2026-08-27
8
Zefan-Cai/KVCache-Factory

Унифицированные методы сжатия KV-кэша для авторегрессионных моделей

Zefan-Cai
⭐ 1,393 Python 👤 Zefan-Cai User 🕐 Обновлено 2026-08-13 📅 Создано 2024-06-05
9
NVIDIA/kvpress

Сжатие KV-кэша LLM — это просто

NVIDIA
⭐ 1,258 Python 👤 NVIDIA Organization 🕐 Обновлено 2026-11-16 📅 Создано 2024-11-06
10
harleyszhang/llm_note

Заметки по LLM, включая вывод модели, структуру модели Transformer и заметки по анализу кода фреймворка LLM.

harleyszhang
⭐ 897 Python 👤 harleyszhang User 🕐 Обновлено 2026-08-19 📅 Создано 2024-09-18
11
feifeibear/LLMSpeculativeSampling

Быстрый вывод больших языковых моделей с помощью спекулятивного декодирования

feifeibear
⭐ 875 Python 👤 feifeibear User 🕐 Обновлено 2024-08-22 📅 Создано 2023-08-16
12
thu-nics/C2C

[ICLR'26] Официальная реализация кода для «Cache-to-Cache: Прямая семантическая коммуникация между большими языковыми моделями»

thu-nics
⭐ 783 Python 👤 thu-nics Organization 🕐 Обновлено 2026-10-28 📅 Создано 2025-10-03
13
pegainfer-project/pegainfer

Чистый движок вывода LLM на Rust + CUDA — без PyTorch, совместим с OpenAI, обслуживает от Qwen3 до Kimi-K2

pegainfer-project
⭐ 748 Rust 👤 pegainfer-project Organization 🕐 Обновлено 2026-11-21 📅 Создано 2026-02-17
14
raymin0223/mixture_of_recursions

Смесь рекурсий: Обучение динамическим рекурсивным глубинам для адаптивного вычисления на уровне токенов (NeurIPS 2025)

raymin0223
⭐ 651 Python 👤 raymin0223 User 🕐 Обновлено 2026-09-19 📅 Создано 2025-06-16
15
therealoliver/Deepdive-llama3-from-scratch

Достигните пошагового вывода llama3, усвойте основные концепции, освойте вывод процесса, реализуйте код.

therealoliver
⭐ 629 Jupyter Notebook 👤 therealoliver User 🕐 Обновлено 2025-02-24 📅 Создано 2025-02-19
16
zengxiao-he/tessera

От учителя к плиткам — движок дистилляции и обслуживания LLM, созданный с нуля: пользовательские ядра Triton/CUDA, дистилляция FSDP, пакетная обработка с непрерывным KV-кэшированием, спекулятивное декодирование, шлюз на Rust, оракул JAX и инструменты интерпретируемости.

zengxiao-he
⭐ 556 Python 👤 zengxiao-he User 🕐 Обновлено 2026-10-09 📅 Создано 2026-06-05
17
OmniJev/Flide

🔥🔥 Сверхбыстрый механизм вывода для моделей принятия решений

OmniJev
⭐ 550 Python 👤 OmniJev Organization 🕐 Обновлено 2026-11-21 📅 Создано 2026-10-24
18
huawei-csl/KVarN

KVarN — это нативный бэкенд vLLM для квантования KV-кэша ваших агентов: в 3–5 раз больше контекста, пропускная способность выше FP16 и точность на уровне FP16. Без калибровки — всего один флаг.

huawei-csl
⭐ 521 Python 👤 huawei-csl Organization 🕐 Обновлено 2026-06-22 📅 Создано 2026-05-29

Часто задаваемые вопросы

1

Какой репозиторий по теме #kv-cache наиболее популярен на GitHub?

Самый высоко оценённый проект с открытым исходным кодом по теме #kv-cache на GitHub — LMCache/LMCache, набравший 12,405 звёзд. LMCache: Ускорьте свою LLM с помощью самого быстрого уровня кэширования KV

2

Какие языки программирования чаще всего используются в репозиториях по теме #kv-cache?

Среди наиболее высоко оценённых проектов по теме #kv-cache на GitHub чаще всего используются языки программирования Python, Go, Rust, Jupyter Notebook.

3

Как рассчитывается рейтинг репозиториев по теме #kv-cache?

Мы отслеживаем 18 активных репозиториев с открытым исходным кодом, отмеченных тегом #kv-cache (500 и более звёзд), с общим числом 46,401 звёзд и в среднем 2,577 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.