#flash-attention Dépôts
Découvrez 48 dépôts GitHub open source actifs associés à #flash-attention, cumulant 156,291 étoiles au total (soit une moyenne de 3,256 étoiles par projet). Le projet en tête de ce thème est deepseek-ai/DeepSeek-OCR, avec 24,180 étoiles.
48 dépôts au total
Le dépôt officiel de Qwen (通义千问), le grand modèle de langage pré-entraîné et de chat proposé par Alibaba Cloud.
Un livre open source contenant des notes d’apprentissage sur le CUDA moderne pour débutants : BF16/FP8/FP4, HGEMM, CuTe, Flash-Attention, etc.
Sortie officielle de la série InternLM (InternLM, InternLM2, InternLM2.5, InternLM3).
Grandes modèles chinois LLaMA-2 & Alpaca-2 Phase II + modèles à contexte ultra-long de 64K (Chinese LLaMA-2 & Alpaca-2 LLMs with 64K long context models)
Ceci est un simple projet de tutoriel technique科普, axé principalement sur l'explication de concepts et de principes technologiques intéressants et de pointe. Chaque article vise à être lu en 5 minutes.
📚Une liste organisée d'articles impressionnants sur l'inférence LLM/VLM avec codes : Flash-Attention, Paged-Attention, WINT8/4, Parallélisme, etc.🎉
Une bibliothèque d'inférence rapide pour exécuter des LLM localement sur des GPU modernes de classe consommateur
Qwen3-ASR est une série de modèles ASR open source développés par l'équipe Qwen d'Alibaba Cloud, permettant une reconnaissance multilingue stable de discours/musique/chanson, la détection des langues et la prédiction des timestamps.
Codebase officiel pour "Self Forcing: Bridging Training and Inference in Autoregressive Video Diffusion" (NeurIPS 2025 Spotlight)
Fork de llama.cpp avec des quants SOTA supplémentaires et des performances améliorées
[ECCV 2024] Implémentation officielle du code de Vary : Scaling Up the Vision Vocabulary of Large Vision Language Models.
Fournir des roues de paquets pré-construites flash-attention 2 et 3 sur Linux et Windows en utilisant GitHub Actions
SoulX-FlashTalk est le premier modèle 14B à atteindre une latence de démarrage inférieure à une seconde (0,87 s) tout en maintenant un débit en temps réel de 32 FPS sur un nœud 8xH800.
Flash Attention en ~100 lignes de CUDA (passage avant uniquement)
cuDNN Frontend est le point d'entrée moderne et open source de NVIDIA vers la bibliothèque cuDNN et une collection croissante de noyaux open source hautes performances.
Une attention distribuée pour une évolutivité linéaire dans l'entraînement sur des contextes ultra-longs et des données hétérogènes
Lumina-Image 2.0: Un framework unifié et efficace pour la génération d'images
Une base de code flexible et efficace pour l'entraînement de modèles linguistiques conditionnés visuellement (VLM)
Une bibliothèque complète pour la mise en œuvre des LLM, comprenant un pipeline d'entraînement unifié et une évaluation complète des modèles.
rCM & Causal-rCM : Algorithmes/infrastructures de pointe et unifiés pour la distillation de diffusion vidéo bidirectionnelle/autorégressive à grande échelle
[ICCV 2023] StreamPETR : Exploration de la modélisation temporelle axée sur l'objet pour une détection d'objets 3D multi-vues efficace
Optimisation de la mémoire et recettes d'entraînement pour extrapoler la longueur du contexte des modèles linguistiques à 1 million de jetons, avec un matériel minimal.
[CVPR 2026 Mise en Avant] Implémentations Officielles pour l'Article - HoloCine : Génération Holistique de Narratives Vidéo Longues Multi-Shots Cinématographiques
Implémentation PyTorch de « V* : Guided Visual Search as a Core Mechanism in Multimodal LLMs »
[ICML 2024 Best Paper] Modélisation de diffusion discrète en estimant les rapports de la distribution des données (https://arxiv.org/abs/2310.16834)
WeDLM : Le modèle de langage de diffusion le plus rapide avec une attention causale standard et une compatibilité native avec le cache KV, offrant de réelles accélérations par rapport aux bases optimisées par vLLM.
Du professeur aux tuiles — un moteur de distillation et de service LLM construit de zéro : noyaux Triton/CUDA personnalisés, distillation FSDP, traitement par lots continu avec KV paginé, décodage spéculatif, une passerelle Rust, un oracle JAX et des outils d'interprétabilité.
[ICLR 2025] DuoAttention : Inférence LLM efficace à long contexte avec têtes de récupération et de streaming
Foire aux questions
Quel est le dépôt #flash-attention le plus populaire sur GitHub ?
Le projet #flash-attention open source le mieux classé sur GitHub est deepseek-ai/DeepSeek-OCR, avec 24,180 étoiles. Contextes de compression optique
Quels langages de programmation sont les plus utilisés dans les dépôts #flash-attention ?
Parmi les projets #flash-attention les mieux classés sur GitHub, les langages de programmation les plus courants sont Python, Cuda, TeX, C++.
Comment le classement des dépôts #flash-attention est-il calculé ?
Nous suivons 48 dépôts open source actifs associés à #flash-attention (500+ étoiles), totalisant 156,291 étoiles, avec une moyenne de 3,256 étoiles par dépôt. Les classements sont mis à jour quotidiennement à partir de l’API GitHub.