#paged-attention Репозитории
Откройте для себя 6 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #paged-attention, с общим числом 9,822 звёзд (в среднем 1,637 на проект). Лидером этой темы является xlite-dev/Awesome-LLM-Inference, набравший 5,565 звёзд.
Всего репозиториев: 6
📚Подборка отличных статей об инференсе LLM/VLM с кодами: Flash-Attention, Paged-Attention, WINT8/4, Parallelism и т.д.🎉
Чистый движок вывода LLM на Rust + CUDA — без PyTorch, совместим с OpenAI, обслуживает от Qwen3 до Kimi-K2
Эффективная платформа для инференса и обслуживания локальных LLM, включая совместимый с OpenAI API-сервер.
От учителя к плиткам — движок дистилляции и обслуживания LLM, созданный с нуля: пользовательские ядра Triton/CUDA, дистилляция FSDP, пакетная обработка с непрерывным KV-кэшированием, спекулятивное декодирование, шлюз на Rust, оракул JAX и инструменты интерпретируемости.
Часто задаваемые вопросы
Какой репозиторий по теме #paged-attention наиболее популярен на GitHub?
Самый высоко оценённый проект с открытым исходным кодом по теме #paged-attention на GitHub — xlite-dev/Awesome-LLM-Inference, набравший 5,565 звёзд. 📚Подборка отличных статей об инференсе LLM/VLM с кодами: Flash-Attention, Paged-Attention, WINT8/4, Parallelism и т.д.🎉
Какие языки программирования чаще всего используются в репозиториях по теме #paged-attention?
Среди наиболее высоко оценённых проектов по теме #paged-attention на GitHub чаще всего используются языки программирования Python, Rust.
Как рассчитывается рейтинг репозиториев по теме #paged-attention?
Мы отслеживаем 6 активных репозиториев с открытым исходным кодом, отмеченных тегом #paged-attention (500 и более звёзд), с общим числом 9,822 звёзд и в среднем 1,637 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.