#sparse-attention Repositories
Entdecke 18 aktive Open-Source-GitHub-Repositories, die mit #sparse-attention getaggt sind und insgesamt 62,491 Sterne gesammelt haben (durchschnittlich 3,471 Sterne pro Projekt). Spitzenreiter in diesem Themenbereich ist deepseek-ai/FlashMLA mit 13,275 Sternen.
Insgesamt 18 Repositories
Dieses Projekt zielt darauf ab, Sora (Open AI T2V Modell) zu reproduzieren. Wir hoffen, dass die Open-Source-Community zu diesem Projekt beitragen wird.
Wir stellen Prism vor, ein dynamisches Sparse-Attention-Framework für das native Training gemeinsamer Video- und Audio-Generierungsmodelle in 2K.
[ICML2025] SpargeAttention: Ein trainingsfreier spärlicher Aufmerksamkeitsmechanismus, der die Inferenz jedes Modells beschleunigt.
[NeurIPS'24 Spotlight, ICLR'25, ICML'25] Um die Inferenz von Long-Context-LLMs zu beschleunigen, berechnen approximative und dynamische dichte Berechnungen die Aufmerksamkeit, was die Inferenzlatenz beim Vorabfüllen auf einer A100 um bis zu 10x reduziert, während die Genauigkeit erhalten bleibt.
🐳 Effiziente Triton-Implementierungen für "Native Sparse Attention: Hardware-Aligned and Natively Trainable Sparse Attention"
[MLSys'25] QServe: W4A8KV4 Quantisierung und System-Co-Design für effizientes LLM-Serving; [MLSys'25] LServe: Effizientes LLM-Serving für lange Sequenzen mit vereinheitlichter spärlicher Aufmerksamkeit
Implementierung des von Deepseek in ihrem Paper „Native Sparse Attention“ vorgeschlagenen Sparse Attention Musters
Trainierbare, schnelle und speichereffiziente spärliche Aufmerksamkeit
[ICML2025, NeurIPS2025 Spotlight] Sparse VideoGen 1 & 2: Beschleunigung von Video Diffusion Transformers mit Sparse Attention
[NeurIPS 2025] Radial Attention: O(nlogn) Sparse Attention with Energy Decay for Long Video Generation
SLA: Über die Sparsität in Diffusion-Transformern hinaus durch feinabstimmbare sparsame lineare Aufmerksamkeit
Häufig gestellte Fragen
Welches ist das beliebteste #sparse-attention-Repository auf GitHub?
Das am höchsten eingestufte Open-Source-#sparse-attention-Projekt auf GitHub ist deepseek-ai/FlashMLA mit 13,275 Sternen. FlashMLA: Effiziente Multi-Head Latent Attention Kernels
Welche Programmiersprachen werden in #sparse-attention-Repositories am häufigsten verwendet?
Unter den am höchsten eingestuften #sparse-attention-Projekten auf GitHub sind Python, C++, Jupyter Notebook, Cuda die am häufigsten verwendeten Programmiersprachen.
Wie wird das Ranking der #sparse-attention-Repositories berechnet?
Wir verfolgen 18 aktive Open-Source-Repositories, die mit #sparse-attention getaggt sind (500+ Sterne), mit insgesamt 62,491 Sternen und durchschnittlich 3,471 Sternen pro Repository. Die Rankings werden täglich über die GitHub-API aktualisiert.