#kv-cache Репозитории
Откройте для себя 18 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #kv-cache, с общим числом 46,401 звёзд (в среднем 2,577 на проект). Лидером этой темы является LMCache/LMCache, набравший 12,405 звёзд.
Всего репозиториев: 18
《Глубокое понимание AI-инфраструктуры: количественный анализ и проектирование систем》 (автор — Ли Боцзе), рукопись книги с открытым исходным кодом: исходя из аппаратных ограничений и архитектур моделей, количественно выводит принципы проектирования систем инференса и обучения LLM. Включает полный текст книги, PDF, сопутствующие вычислительные инструменты и эксперименты.
Компактная реализация SGLang, разработанная для того, чтобы упростить понимание сложностей современных систем обслуживания LLM.
Сервер и кластер Redis, реализованные на Golang. Сервер и распределённый кластер Redis, реализованные на языке Go
Быстро обслуживайте большие модели Qwen на тех GPU, которыми вы действительно располагаете. Qwen3.8-27B на одной карте объёмом 24 ГБ с vLLM: 127 ток/с для одного пользователя (381, когда ответ цитирует промпт), около 1 035 ток/с при 64 одновременных запросах, контекст 150k–262k. Патчи для vLLM, конвейер повторной квантизации и бенчмарки.
Подборка статей, бенчмарков, обзорных материалов и инструментов по квантованию моделей, охватывающая низкоразрядные сети, LLM, мультимодальные и генеративные модели, векторное и решёточное квантование, а также эффективное развертывание.
Официальный курс SGLang x Datawhale по инференсу LLM: разберитесь в инференсе, создайте мини-SGLang с нуля, затем изучите настоящий исходный код SGLang и отправьте свой первый PR. Доступен на английском и китайском языках.
Заметки по LLM, включая вывод модели, структуру модели Transformer и заметки по анализу кода фреймворка LLM.
Быстрый вывод больших языковых моделей с помощью спекулятивного декодирования
[ICLR'26] Официальная реализация кода для «Cache-to-Cache: Прямая семантическая коммуникация между большими языковыми моделями»
Чистый движок вывода LLM на Rust + CUDA — без PyTorch, совместим с OpenAI, обслуживает от Qwen3 до Kimi-K2
Смесь рекурсий: Обучение динамическим рекурсивным глубинам для адаптивного вычисления на уровне токенов (NeurIPS 2025)
Достигните пошагового вывода llama3, усвойте основные концепции, освойте вывод процесса, реализуйте код.
От учителя к плиткам — движок дистилляции и обслуживания LLM, созданный с нуля: пользовательские ядра Triton/CUDA, дистилляция FSDP, пакетная обработка с непрерывным KV-кэшированием, спекулятивное декодирование, шлюз на Rust, оракул JAX и инструменты интерпретируемости.
KVarN — это нативный бэкенд vLLM для квантования KV-кэша ваших агентов: в 3–5 раз больше контекста, пропускная способность выше FP16 и точность на уровне FP16. Без калибровки — всего один флаг.
Часто задаваемые вопросы
Какой репозиторий по теме #kv-cache наиболее популярен на GitHub?
Самый высоко оценённый проект с открытым исходным кодом по теме #kv-cache на GitHub — LMCache/LMCache, набравший 12,405 звёзд. LMCache: Ускорьте свою LLM с помощью самого быстрого уровня кэширования KV
Какие языки программирования чаще всего используются в репозиториях по теме #kv-cache?
Среди наиболее высоко оценённых проектов по теме #kv-cache на GitHub чаще всего используются языки программирования Python, Go, Rust, Jupyter Notebook.
Как рассчитывается рейтинг репозиториев по теме #kv-cache?
Мы отслеживаем 18 активных репозиториев с открытым исходным кодом, отмеченных тегом #kv-cache (500 и более звёзд), с общим числом 46,401 звёзд и в среднем 2,577 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.