#sparse-attention Dépôts
Découvrez 18 dépôts GitHub open source actifs associés à #sparse-attention, cumulant 62,491 étoiles au total (soit une moyenne de 3,471 étoiles par projet). Le projet en tête de ce thème est deepseek-ai/FlashMLA, avec 13,275 étoiles.
18 dépôts au total
Ce projet vise à reproduire Sora (modèle T2V d'OpenAI), nous souhaitons que la communauté open source contribue à ce projet.
Nous proposons Prism, un cadre d’attention parcimonieuse dynamique permettant d’entraîner nativement des modèles de génération conjointe vidéo-audio en 2K.
[ICML2025] SpargeAttention : Une attention éparse sans entraînement qui accélère l'inférence de n'importe quel modèle.
[NeurIPS'24 Spotlight, ICLR'25, ICML'25] Pour accélérer l'inférence des LLM à long contexte, des calculs d'attention épars approximatifs et dynamiques réduisent la latence d'inférence jusqu'à 10 fois pour le pré-remplissage sur un A100 tout en maintenant la précision.
🐳 Implémentations Triton efficaces pour "Native Sparse Attention: Hardware-Aligned and Natively Trainable Sparse Attention"
[MLSys'25] QServe : Quantification W4A8KV4 et co-conception de systèmes pour un service LLM efficace ; [MLSys'25] LServe : Service LLM efficace pour les longues séquences avec attention éparse unifiée
Implémentation du schéma d'attention éparse proposé par l'équipe Deepseek dans leur article "Native Sparse Attention"
[ICML2025, NeurIPS2025 Spotlight] Sparse VideoGen 1 & 2 : Accélérer les Transformers de Diffusion Vidéo avec une Attention Éparse
[NeurIPS 2025] Radial Attention: O(nlogn) Sparse Attention with Energy Decay for Long Video Generation
SLA : Au-delà de la parcimonie dans les transformeurs de diffusion grâce à une attention creuse-linéaire ajustable
Foire aux questions
Quel est le dépôt #sparse-attention le plus populaire sur GitHub ?
Le projet #sparse-attention open source le mieux classé sur GitHub est deepseek-ai/FlashMLA, avec 13,275 étoiles. FlashMLA : noyaux d'attention latente multi-têtes efficaces
Quels langages de programmation sont les plus utilisés dans les dépôts #sparse-attention ?
Parmi les projets #sparse-attention les mieux classés sur GitHub, les langages de programmation les plus courants sont Python, C++, Jupyter Notebook, Cuda.
Comment le classement des dépôts #sparse-attention est-il calculé ?
Nous suivons 18 dépôts open source actifs associés à #sparse-attention (500+ étoiles), totalisant 62,491 étoiles, avec une moyenne de 3,471 étoiles par dépôt. Les classements sont mis à jour quotidiennement à partir de l’API GitHub.