#attention-mechanism Repositories
Entdecke 50 aktive Open-Source-GitHub-Repositories, die mit #attention-mechanism getaggt sind und insgesamt 274,514 Sterne gesammelt haben (durchschnittlich 5,490 Sterne pro Projekt). Spitzenreiter in diesem Themenbereich ist rasbt/LLMs-from-scratch mit 108,745 Sternen.
Insgesamt 50 Repositories
Implementieren Sie Schritt für Schritt ein ChatGPT-ähnliches LLM in PyTorch von Grund auf neu
Implementierung des Vision Transformer, ein einfacher Weg, um Spitzenleistungen in der visuellen Klassifizierung mit nur einem einzigen Transformer-Encoder in Pytorch zu erzielen
Qiu Xipengs „Neuronale Netze und Deep Learning“, zweite Auflage und allgemeinbildende Ausgabe: E-Book, Inhaltsverzeichnis, Lernressourcen und Errata.
RWKV (ausgesprochen RwaKuv) ist ein RNN mit großartiger LLM-Leistung, das auch direkt wie ein GPT-Transformer trainiert werden kann (parallelisierbar). Wir sind bei RWKV-7 "Goose". Es kombiniert also das Beste aus RNN und Transformer - großartige Leistung, lineare Zeit, konstanter Speicherplatz (kein kv-Cache), schnelles Training, unendliche ctx_len und kostenlose Satz-Einbettung.
Hackbare und optimierte Transformer-Bausteine, die eine komponierbare Konstruktion unterstützen.
Ein prägnanter, aber vollständiger Full-Attention-Transformer mit einer Reihe vielversprechender experimenteller Funktionen aus verschiedenen Papieren
Implementierung / Replikation von DALL-E, OpenAIs Text-zu-Bild-Transformer, in Pytorch
Eine letztlich umfassende Liste von Papieren zu Vision Transformer/Attention, einschließlich Papieren, Codes und verwandter Websites
RuVector bietet leistungsstarke Echtzeit-Entscheidungsfindung und Agentengedächtnis, selbstlernende KI sowie eine in Rust entwickelte Vektor-GNN-Datenbank.
Baue ein modernes LLM von Grund auf. Jede Zeile kommentiert. Erklärt wie für Fünfjährige.
[NeurIPS 2025] YOLOv12: Aufmerksamkeitszentrierte Echtzeit-Objektdetektoren
Mehrsprachige automatische Spracherkennung mit Wort-Timestamps und Konfidenz
Dies ist das offizielle Repository für "The Hundred-Page Language Models Book" von Andriy Burkov
Lerne LLM-Internals Schritt für Schritt – von der Tokenisierung über Attention bis zur Inferenz-Optimierung.
Implementierung von SoundStorm, effiziente parallele Audiogenerierung von Google Deepmind, in Pytorch
PyTorch-Code für unser ECCV 2018-Papier "Image Super-Resolution Using Very Deep Residual Channel Attention Networks"
Implementierung von Perceiver, Allgemeine Wahrnehmung mit Iterativer Aufmerksamkeit, in Pytorch
Sequence-to-Sequence-Framework mit Schwerpunkt auf Neural Machine Translation basierend auf PyTorch
OpenSTL: Ein umfassender Benchmark für spatio-temporales vorausschauendes Lernen
Eine Deep-Learning-Bibliothek für die Klassifizierung von EEG-Aufgaben (Signalen), basierend auf TensorFlow.
Eine kuratierte Liste von NLP-Ressourcen, die sich auf Transformer-Netzwerke, Attention-Mechanismus, GPT, BERT, ChatGPT, LLMs und Transfer Learning konzentriert.
Implementierung von TabTransformer, einem Aufmerksamkeitsnetzwerk für tabellarische Daten, in Pytorch
Die offizielle Implementierung für [NeurIPS2025 Oral] Gated Attention für Große Sprachmodelle: Nichtlinearität, Sparsität und Attention-Sink-Free
Implementierung von Attention-basiertem Deep Multiple Instance Learning in PyTorch
Transformer, basierend auf einer Variante von Attention, die eine lineare Komplexität in Bezug auf die Sequenzlänge aufweist
[IJCV] FastComposer: Abstimmungsfreie Multi-Subjekt-Bilderzeugung mit lokalisierter Aufmerksamkeit
[ECCV 2020] Erlernen von angereicherten Merkmalen für die Restaurierung und Verbesserung realer Bilder. SOTA-Ergebnisse für Bildentrauschung, Super-Resolution und Bildverbesserung.
basierend auf dem YOLO-High-Level-Projekt (erkennen\pose\klassifizieren\segmentieren\): einschließlich YOLOv5\YOLOv7\YOLOv8\Core, Verbesserungsforschung, SwinTransformerV2 und Attention Series. Schulungsfähigkeiten, Geschäftsanpassung, technische Bereitstellung C
MORAN: Ein Multi-Object Rectified Attention Network für Scene Text Recognition
[CVPR'26] ObjectClear: Präzise Objekt- und Effektextraktion mit adaptiv an Ziel orientierter Aufmerksamkeit
Erreichen Sie den Llama3-Inferenzschritt für Schritt, erfassen Sie die Kernkonzepte, meistern Sie die Prozessableitung, implementieren Sie den Code.
Ein visuelles Analysetool zur Erkundung gelerntener Repräsentationen in Transformer-Modellen
[CVPR 2021, Mündlich] PREDATOR: Registrierung von 3D-Punktwolken mit geringer Überlappung.
[ICLR2025 Spotlight🔥] Offizielle Implementierung von TokenFormer: Neudenken der Transformer-Skalierung mit tokenisierten Modellparametern
Implementierung von Enformer, Deepminds Aufmerksamkeitsnetzwerk zur Vorhersage der Genexpression, in Pytorch
[IGARSS'22]: Ein Transformer-basiertes Siamese-Netzwerk zur Veränderungsdetektion
Implementierung von 💍 Ring Attention, von Liu et al. von Berkeley AI, in Pytorch
Demokratisierung von RT-2 „RT-2: Neues Modell übersetzt Vision und Sprache in Aktion“
Die offizielle PyTorch-Implementierung des Papers "SAITS: Self-Attention-basierte Imputation für Zeitreihen". Ein schnelles und State-of-the-Art (SOTA) Deep-Learning-Neuronal-Netzwerk-Modell für effiziente Zeitreihen-Imputation (Imputation multivariater unvollständiger Zeitreihen mit NaN fehlenden Daten/Werten mittels Machine Learning). https://arxiv.org/abs/2202.08516
Häufig gestellte Fragen
Welches ist das beliebteste #attention-mechanism-Repository auf GitHub?
Das am höchsten eingestufte Open-Source-#attention-mechanism-Projekt auf GitHub ist rasbt/LLMs-from-scratch mit 108,745 Sternen. Implementieren Sie Schritt für Schritt ein ChatGPT-ähnliches LLM in PyTorch von Grund auf neu
Welche Programmiersprachen werden in #attention-mechanism-Repositories am häufigsten verwendet?
Unter den am höchsten eingestuften #attention-mechanism-Projekten auf GitHub sind Python, Jupyter Notebook, Rust, Swift die am häufigsten verwendeten Programmiersprachen.
Wie wird das Ranking der #attention-mechanism-Repositories berechnet?
Wir verfolgen 50 aktive Open-Source-Repositories, die mit #attention-mechanism getaggt sind (500+ Sterne), mit insgesamt 274,514 Sternen und durchschnittlich 5,490 Sternen pro Repository. Die Rankings werden täglich über die GitHub-API aktualisiert.