#flash-attention Репозитории
Откройте для себя 48 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #flash-attention, с общим числом 156,291 звёзд (в среднем 3,256 на проект). Лидером этой темы является deepseek-ai/DeepSeek-OCR, набравший 24,180 звёзд.
Всего репозиториев: 48
Официальный репозиторий Qwen (通义千问) — чат-бота и предварительно обученной большой языковой модели, предложенной Alibaba Cloud.
Книга с открытым исходным кодом, содержащая учебные заметки по современному CUDA для начинающих: BF16/FP8/FP4, HGEMM, CuTe, Flash-Attention и др.
Официальный выпуск серии InternLM (InternLM, InternLM2, InternLM2.5, InternLM3).
Китайские большие языковые модели LLaMA-2 и Alpaca-2, Фаза II + модели с сверхдлинным контекстом 64K (Chinese LLaMA-2 & Alpaca-2 LLMs with 64K long context models)
Это простой проект технического科普-туториала, в основном посвященный объяснению интересных, передовых технических концепций и принципов. Каждая статья должна быть прочитана за 5 минут.
📚Подборка отличных статей об инференсе LLM/VLM с кодами: Flash-Attention, Paged-Attention, WINT8/4, Parallelism и т.д.🎉
Быстрая библиотека вывода для локального запуска LLM на современных потребительских GPU
Qwen3-ASR — это серия моделей ASR с открытым исходным кодом, разработанная командой Qwen в Alibaba Cloud, поддерживающая стабильное многоязычное распознавание речи/музыки/песен, детекцию языка и прогнозирование временных меток.
Официальный исходный код для "Self Forcing: Bridging Training and Inference in Autoregressive Video Diffusion" (NeurIPS 2025 Spotlight)
Форк llama.cpp с дополнительными SOTA квантами и улучшенной производительностью
[ECCV 2024] Официальная реализация кода Vary: Масштабирование словарного запаса визуальной информации больших визуально-языковых моделей.
Предоставить предсобранные колёса пакетов flash-attention 2 и 3 для Linux и Windows с использованием GitHub Actions
SoulX-FlashTalk — первая 14B-модель, достигшая задержки запуска менее секунды (0,87 с) при сохранении реального времени пропускной способности 32 FPS на узле 8xH800.
Создание универсальных роботов на основе воплощенной фундаментальной модели
Flash Attention примерно в 100 строках CUDA (только прямой проход)
cuDNN Frontend — это современная open-source точка входа NVIDIA в библиотеку cuDNN и растущую коллекцию высокопроизводительных open-source ядер.
Распределенное внимание для линейной масштабируемости при обучении на сверхдлинных контекстах и гетерогенных данных
Lumina-Image 2.0: Единая и эффективная основа для генерации изображений
Гибкая и эффективная кодовая база для обучения визуально-обусловленных языковых моделей (VLM)
Комплексная библиотека для реализации LLM, включающая унифицированный конвейер обучения и комплексную оценку моделей.
rCM & Causal-rCM: Ведущие и унифицированные алгоритмы/инфраструктуры для двунаправленной/авторегрессионной дистилляции видеодиффузии в масштабе
[ICCV 2023] StreamPETR: Исследование объектно-ориентированного временного моделирования для эффективного многовидового 3D-детектирования объектов
Оптимизация памяти и рецепты обучения для экстраполяции длины контекста языковых моделей до 1 миллиона токенов с минимальным оборудованием.
[CVPR 2026 Выделение] Официальные реализации для статьи - HoloCine: Целостная генерация кинематографических многошотовых длинных видео-нарративов
Реализация на PyTorch "V* : Guided Visual Search as a Core Mechanism in Multimodal LLMs"
[ICML 2024 Лучшая статья] Дискретное диффузионное моделирование путем оценки соотношений распределения данных (https://arxiv.org/abs/2310.16834)
WeDLM: Самая быстрая диффузионная языковая модель со стандартным причинно-следственным вниманием и нативной совместимостью с KV-кэшем, обеспечивающая реальное ускорение по сравнению с базовыми моделями, оптимизированными с помощью vLLM.
От учителя к плиткам — движок дистилляции и обслуживания LLM, созданный с нуля: пользовательские ядра Triton/CUDA, дистилляция FSDP, пакетная обработка с непрерывным KV-кэшированием, спекулятивное декодирование, шлюз на Rust, оракул JAX и инструменты интерпретируемости.
[ICLR 2025] DuoAttention: Эффективный вывод LLM с длинным контекстом с использованием головок поиска и потоковой передачи
Часто задаваемые вопросы
Какой репозиторий по теме #flash-attention наиболее популярен на GitHub?
Самый высоко оценённый проект с открытым исходным кодом по теме #flash-attention на GitHub — deepseek-ai/DeepSeek-OCR, набравший 24,180 звёзд. Контексты оптического сжатия
Какие языки программирования чаще всего используются в репозиториях по теме #flash-attention?
Среди наиболее высоко оценённых проектов по теме #flash-attention на GitHub чаще всего используются языки программирования Python, Cuda, TeX, C++.
Как рассчитывается рейтинг репозиториев по теме #flash-attention?
Мы отслеживаем 48 активных репозиториев с открытым исходным кодом, отмеченных тегом #flash-attention (500 и более звёзд), с общим числом 156,291 звёзд и в среднем 3,256 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.