Git Stars Git Stars

#flash-attention Repositories

Entdecke 48 aktive Open-Source-GitHub-Repositories, die mit #flash-attention getaggt sind und insgesamt 156,291 Sterne gesammelt haben (durchschnittlich 3,256 Sterne pro Projekt). Spitzenreiter in diesem Themenbereich ist deepseek-ai/DeepSeek-OCR mit 24,180 Sternen.

48
Gesamtzahl der Repositories
156,291
Gesamtanzahl der Sterne
3,256
Durchschnittliche Sterne/Repo

Insgesamt 48 Repositories

1
deepseek-ai/DeepSeek-OCR

Kontexte optische Kompression

deepseek-ai
⭐ 24,180 Python 👤 deepseek-ai Organization 🕐 Aktualisiert 2026-01-27 📅 Erstellt 2025-10-17
2
QwenLM/Qwen

Das offizielle Repository des Chat- und vortrainierten großen Sprachmodells Qwen (通义千问) von Alibaba Cloud.

QwenLM
⭐ 22,063 Python 👤 QwenLM Organization 🕐 Aktualisiert 2026-03-05 📅 Erstellt 2023-08-03
3
xlite-dev/LeetCUDA

Ein Open-Source-Buch mit Lernnotizen zu modernem CUDA für Anfänger – BF16/FP8/FP4, HGEMM, CuTe, Flash-Attention usw.

xlite-dev
⭐ 12,208 TeX 👤 xlite-dev Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2022-12-17
5
InternLM/InternLM

Offizielle Veröffentlichung der InternLM-Reihe (InternLM, InternLM2, InternLM2.5, InternLM3).

InternLM
⭐ 7,280 Python 👤 InternLM Organization 🕐 Aktualisiert 2025-10-30 📅 Erstellt 2023-07-06
6
ymcui/Chinese-LLaMA-Alpaca-2

Chinesische LLaMA-2 & Alpaca-2 LLMs der zweiten Phase + 64K Super-Long-Context-Modelle (Chinese LLaMA-2 & Alpaca-2 LLMs with 64K long context models)

ymcui
⭐ 7,098 Python 👤 ymcui User 🕐 Aktualisiert 2026-04-19 📅 Erstellt 2023-07-18
7
karminski/one-small-step

Dies ist ein einfaches technisches科普-Tutorial-Projekt, das sich hauptsächlich darauf konzentriert, einige interessante, hochmoderne technische Konzepte und Prinzipien zu erklären. Jeder Artikel wird angestrebt, in 5 Minuten gelesen zu werden.

karminski
⭐ 7,006 Python 👤 karminski User 🕐 Aktualisiert 2026-03-08 📅 Erstellt 2025-01-16
9
xlite-dev/Awesome-LLM-Inference

📚Eine kuratierte Liste von Awesome LLM/VLM-Inferenz-Papers mit Codes: Flash-Attention, Paged-Attention, WINT8/4, Parallelism usw.🎉

xlite-dev
⭐ 5,565 Python 👤 xlite-dev Organization 🕐 Aktualisiert 2026-10-20 📅 Erstellt 2023-08-27
10
turboderp-org/exllamav2

Eine schnelle Inferenzbibliothek zum Ausführen von LLMs lokal auf modernen Consumer-GPUs

turboderp-org
⭐ 4,653 Python 👤 turboderp-org Organization 🕐 Aktualisiert 2026-03-04 📅 Erstellt 2023-08-30
11
QwenLM/Qwen3-ASR

Qwen3-ASR ist eine Open-Source-Serie von ASR-Modellen, die vom Qwen-Team von Alibaba Cloud entwickelt wurde und stabile Mehrsprachigkeits-Erkennung von Sprache/Musik/Liedern, Spracherkennung und Zeitstempelvorhersage unterstützt.

QwenLM
⭐ 3,933 Python 👤 QwenLM Organization 🕐 Aktualisiert 2026-06-26 📅 Erstellt 2026-01-28
12
HazyResearch/ThunderKittens

Kachel-Primitive für schnelle Kernel

HazyResearch
⭐ 3,805 Cuda 👤 HazyResearch Organization 🕐 Aktualisiert 2026-09-12 📅 Erstellt 2024-03-04
13
guandeh17/Self-Forcing

Offizieller Quellcode für „Self Forcing: Bridging Training and Inference in Autoregressive Video Diffusion“ (NeurIPS 2025 Spotlight)

guandeh17
⭐ 3,511 Python 👤 guandeh17 User 🕐 Aktualisiert 2025-09-12 📅 Erstellt 2025-06-09
14
ikawrakow/ik_llama.cpp

llama.cpp Fork mit zusätzlichen SOTA Quants und verbesserter Leistung

ikawrakow
⭐ 3,411 C++ 👤 ikawrakow User 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2024-06-27
16
MoonshotAI/MoBA

MoBA: Mixture of Block Attention für LLMs mit langem Kontext

MoonshotAI
⭐ 2,122 Python 👤 MoonshotAI Organization 🕐 Aktualisiert 2025-04-03 📅 Erstellt 2025-02-17
17
Ucas-HaoranWei/Vary

[ECCV 2024] Offizielle Code-Implementierung von Vary: Skalierung des Vision-Vokabulars von großen Vision-Language-Modellen.

Ucas-HaoranWei
⭐ 1,888 Python 👤 Ucas-HaoranWei User 🕐 Aktualisiert 2024-12-30 📅 Erstellt 2023-12-07
19
allenai/Olmo-core

PyTorch-Bausteine für das OLMo-Ökosystem

allenai
⭐ 1,810 Python 👤 allenai Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2024-03-23
20
mjun0812/flash-attention-prebuild-wheels

Bereitstellen vorkompilierter flash-attention 2- und 3-Paket-Räder unter Linux und Windows mit GitHub Actions

mjun0812
⭐ 1,798 Python 👤 mjun0812 User 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2024-10-26
21
Soul-AILab/SoulX-FlashTalk

SoulX-FlashTalk ist das erste 14B-Modell, das eine Startverzögerung unter einer Sekunde (0,87 s) erreicht, während es eine Echtzeit-Durchsatzrate von 32 FPS auf einem 8xH800-Knoten aufrechterhält.

Soul-AILab
⭐ 1,572 Python 👤 Soul-AILab Organization 🕐 Aktualisiert 2026-07-30 📅 Erstellt 2025-12-25
23
X-Square-Robot/wall-x

Aufbau von Universalrobotern auf der Grundlage von verkörperten Basismodellen

X-Square-Robot
⭐ 1,337 Python 👤 X-Square-Robot Organization 🕐 Aktualisiert 2026-09-18 📅 Erstellt 2025-09-04
24
weiruihhh/cs336_note_and_hw

Meine Notizen und Aufgaben während des CS336-Kurses aufzeichnen.

weiruihhh
⭐ 1,305 Python 👤 weiruihhh User 🕐 Aktualisiert 2026-10-10 📅 Erstellt 2025-06-01
25
zhuzilin/ring-flash-attention

Ring-Attention-Implementierung mit Flash-Attention

zhuzilin
⭐ 1,054 Python 👤 zhuzilin User 🕐 Aktualisiert 2025-09-10 📅 Erstellt 2024-02-21
26
tspeterkim/flash-attention-minimal

Flash Attention in ~100 Zeilen CUDA (nur Forward-Pass)

tspeterkim
⭐ 1,036 Cuda 👤 tspeterkim User 🕐 Aktualisiert 2024-12-30 📅 Erstellt 2024-03-07
27
NVIDIA/cudnn-frontend

cuDNN Frontend ist NVIDIAs moderner Open-Source-Einstiegspunkt zur cuDNN-Bibliothek und eine wachsende Sammlung von leistungsstarken Open-Source-Kernels.

NVIDIA
⭐ 1,008 Cuda 👤 NVIDIA Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2021-01-22
28
SandAI-org/MagiAttention

Verteilte Aufmerksamkeit für lineare Skalierbarkeit beim Training mit ultra-langem Kontext und heterogenen Daten

SandAI-org
⭐ 975 Python 👤 SandAI-org Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2025-04-20
29
Alpha-VLLM/Lumina-Image-2.0

Lumina-Image 2.0: Ein einheitlicher und effizienter Framework für die Bilderzeugung

Alpha-VLLM
⭐ 904 Python 👤 Alpha-VLLM Organization 🕐 Aktualisiert 2026-05-22 📅 Erstellt 2025-01-25
30
TRI-ML/prismatic-vlms

Eine flexible und effiziente Codebasis für das Training von visuell-konditionierten Sprachmodellen (VLMs)

TRI-ML
⭐ 894 Python 👤 TRI-ML Organization 🕐 Aktualisiert 2024-07-04 📅 Erstellt 2024-02-13
31
RUCAIBox/LLMBox

Eine umfassende Bibliothek zur Implementierung von LLMs, einschließlich einer einheitlichen Trainingspipeline und umfassender Modellevaluierung.

RUCAIBox
⭐ 849 Python 👤 RUCAIBox Organization 🕐 Aktualisiert 2025-06-16 📅 Erstellt 2023-10-25
32
NVlabs/rcm

rCM & Causal-rCM: Führende und vereinheitlichte Algorithmen/Infrastrukturen für die bidirektionale/autoregressive Videodiffusionsdestillation im großen Maßstab

NVlabs
⭐ 832 Python 👤 NVlabs Organization 🕐 Aktualisiert 2026-06-25 📅 Erstellt 2025-10-09
35
exiawsh/StreamPETR

[ICCV 2023] StreamPETR: Erforschung objektzentrierter zeitlicher Modellierung für effiziente Multi-View 3D-Objekterkennung

exiawsh
⭐ 754 Python 👤 exiawsh User 🕐 Aktualisiert 2024-06-26 📅 Erstellt 2023-03-21
37
jzhang38/EasyContext

Speicheroptimierung und Trainingsrezepte zur Extrapolation der Kontextlänge von Sprachmodellen auf 1 Million Token mit minimaler Hardware.

jzhang38
⭐ 751 Python 👤 jzhang38 User 🕐 Aktualisiert 2024-09-27 📅 Erstellt 2024-04-05
38
HKUSTDial/flash-sparse-attention

Trainierbare, schnelle und speichereffiziente spärliche Aufmerksamkeit

HKUSTDial
⭐ 750 Python 👤 HKUSTDial Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2025-05-12
40
yihao-meng/HoloCine

[CVPR 2026 Highlight] Offizielle Implementierungen für das Paper - HoloCine: Holistische Generierung kinematischer Multi-Shot-Langer Videoerzählungen

yihao-meng
⭐ 707 Python 👤 yihao-meng User 🕐 Aktualisiert 2025-11-26 📅 Erstellt 2025-10-22
41
penghao-wu/vstar

PyTorch-Implementierung von „V* : Guided Visual Search as a Core Mechanism in Multimodal LLMs“

penghao-wu
⭐ 684 Python 👤 penghao-wu User 🕐 Aktualisiert 2024-01-07 📅 Erstellt 2023-12-15
42
louaaron/Score-Entropy-Discrete-Diffusion

[ICML 2024 Best Paper] Diskrete Diffusionsmodellierung durch Schätzung der Verhältnisse der Datenverteilung (https://arxiv.org/abs/2310.16834)

louaaron
⭐ 681 Python 👤 louaaron User 🕐 Aktualisiert 2024-02-29 📅 Erstellt 2024-02-21
43
Tencent/WeDLM

WeDLM: Das schnellste Diffusions-Sprachmodell mit standardmäßiger kausaler Aufmerksamkeit und nativer KV-Cache-Kompatibilität, das echte Geschwindigkeitssteigerungen gegenüber vLLM-optimierten Basismodellen liefert.

Tencent
⭐ 659 Python 👤 Tencent Organization 🕐 Aktualisiert 2026-03-03 📅 Erstellt 2025-12-24
44
zengxiao-he/tessera

Vom Lehrer zu Kacheln — eine von Grund auf neu entwickelte LLM-Destillations- und Serving-Engine: benutzerdefinierte Triton/CUDA-Kernel, FSDP-Destillation, kontinuierliches Batching mit paged-KV, spekulative Dekodierung, ein Rust-Gateway, ein JAX-Orakel und Interpretierbarkeitswerkzeuge.

zengxiao-he
⭐ 556 Python 👤 zengxiao-he User 🕐 Aktualisiert 2026-10-09 📅 Erstellt 2026-06-05
46
mit-han-lab/duo-attention

[ICLR 2025] DuoAttention: Effiziente Langkontext-LLM-Inferenz mittels Retrieval- und Streaming-Heads

mit-han-lab
⭐ 541 Python 👤 mit-han-lab Organization 🕐 Aktualisiert 2025-02-10 📅 Erstellt 2024-10-15
47
DachengLi1/LongChat

Offizielles Repository für LongChat und LongEval

DachengLi1
⭐ 533 Python 👤 DachengLi1 User 🕐 Aktualisiert 2024-05-24 📅 Erstellt 2023-04-21
48
bofenghuang/vigogne

Französische Befolgen-von-Anweisungen- und Chat-Modelle

bofenghuang
⭐ 506 Jupyter Notebook 👤 bofenghuang User 🕐 Aktualisiert 2024-12-05 📅 Erstellt 2023-03-24

Häufig gestellte Fragen

1

Welches ist das beliebteste #flash-attention-Repository auf GitHub?

Das am höchsten eingestufte Open-Source-#flash-attention-Projekt auf GitHub ist deepseek-ai/DeepSeek-OCR mit 24,180 Sternen. Kontexte optische Kompression

2

Welche Programmiersprachen werden in #flash-attention-Repositories am häufigsten verwendet?

Unter den am höchsten eingestuften #flash-attention-Projekten auf GitHub sind Python, Cuda, TeX, C++ die am häufigsten verwendeten Programmiersprachen.

3

Wie wird das Ranking der #flash-attention-Repositories berechnet?

Wir verfolgen 48 aktive Open-Source-Repositories, die mit #flash-attention getaggt sind (500+ Sterne), mit insgesamt 156,291 Sternen und durchschnittlich 3,256 Sternen pro Repository. Die Rankings werden täglich über die GitHub-API aktualisiert.