#flash-attention Repositorios
Descubre 48 repositorios activos de código abierto de GitHub etiquetados con #flash-attention, que acumulan 156,291 estrellas en total (una media de 3,256 estrellas por proyecto). El líder de este tema es deepseek-ai/DeepSeek-OCR, con 24,180 estrellas.
48 repositorios en total
El repositorio oficial de Qwen (通义千问), el modelo de lenguaje grande preentrenado y de chat propuesto por Alibaba Cloud.
Un libro de código abierto con apuntes de aprendizaje sobre CUDA moderno para principiantes: BF16/FP8/FP4, HGEMM, CuTe, Flash-Attention, etc.
Lanzamiento oficial de la serie InternLM (InternLM, InternLM2, InternLM2.5, InternLM3).
Modelos grandes chinos LLaMA-2 y Alpaca-2 Fase II + modelos de contexto ultra largo de 64K (Chinese LLaMA-2 & Alpaca-2 LLMs with 64K long context models)
Este es un sencillo proyecto de tutorial técnico科普, centrado principalmente en explicar conceptos y principios tecnológicos interesantes y de vanguardia. Cada artículo se esfuerza por completarse en 5 minutos de lectura.
📚Una lista seleccionada de increíbles artículos sobre inferencia LLM/VLM con códigos: Flash-Attention, Paged-Attention, WINT8/4, Paralelismo, etc.🎉
Una biblioteca de inferencia rápida para ejecutar LLM localmente en GPU modernas de clase de consumo
Qwen3-ASR es una serie de modelos ASR de código abierto desarrollada por el equipo Qwen de Alibaba Cloud, que admite reconocimiento estable de voz/música/canción multilingüe, detección de idioma y predicción de marca de tiempo.
Código base oficial para "Self Forcing: Bridging Training and Inference in Autoregressive Video Diffusion" (NeurIPS 2025 Spotlight)
Fork de llama.cpp con cuantificaciones SOTA adicionales y rendimiento mejorado
[ECCV 2024] Implementación oficial del código de Vary: Scaling Up the Vision Vocabulary of Large Vision Language Models.
Proporcionar ruedas de paquetes precompilados de flash-attention 2 y 3 en Linux y Windows usando GitHub Actions
SoulX-FlashTalk es el primer modelo 14B en lograr una latencia de inicio subsegundo (0.87s) mientras mantiene un rendimiento en tiempo real de 32 FPS en un nodo 8xH800.
Construcción de robots de propósito general basados en modelos fundacionales corporizados
Flash Attention en ~100 líneas de CUDA (solo paso hacia adelante)
cuDNN Frontend es el punto de entrada moderno y de código abierto de NVIDIA a la biblioteca cuDNN y a una creciente colección de kernels de código abierto de alto rendimiento.
Atención distribuida hacia la escalabilidad lineal para el entrenamiento de contextos ultralargos y datos heterogéneos
Lumina-Image 2.0: Un framework unificado y eficiente para la generación de imágenes
Una base de código flexible y eficiente para entrenar modelos de lenguaje visualmente condicionados (VLM)
Una biblioteca completa para implementar LLM, que incluye un pipeline de entrenamiento unificado y una evaluación completa del modelo.
rCM y Causal-rCM: Algoritmos/infraestructuras líderes y unificados para la destilación de difusión de video bidireccional/autorregresiva a gran escala
[ICCV 2023] StreamPETR: Exploración del modelado temporal centrado en objetos para una detección eficiente de objetos 3D multi-vista
Optimización de la memoria y recetas de entrenamiento para extrapolar la longitud del contexto de los modelos de lenguaje a 1 millón de tokens, con un hardware mínimo.
[CVPR 2026 Destacado] Implementaciones Oficiales para el Artículo - HoloCine: Generación Holística de Narrativas de Video Largo Multi-Shot Cinematográficas
Implementación en PyTorch de "V* : Guided Visual Search as a Core Mechanism in Multimodal LLMs"
[ICML 2024 Mejor Artículo] Modelado de difusión discreta estimando las proporciones de la distribución de datos (https://arxiv.org/abs/2310.16834)
WeDLM: El modelo de lenguaje de difusión más rápido con atención causal estándar y compatibilidad nativa con la caché KV, que ofrece aceleraciones reales sobre las líneas base optimizadas con vLLM.
De maestro a mosaicos — un motor de destilación y servicio de LLM desde cero: kernels personalizados de Triton/CUDA, destilación FSDP, procesamiento por lotes continuo con KV paginado, decodificación especulativa, una puerta de enlace en Rust, un oráculo JAX y herramientas de interpretabilidad.
[ICLR 2025] DuoAttention: Inferencia eficiente de LLM de contexto largo con cabezales de recuperación y transmisión
Preguntas frecuentes
¿Cuál es el repositorio de #flash-attention más popular en GitHub?
El proyecto de código abierto de #flash-attention mejor posicionado en GitHub es deepseek-ai/DeepSeek-OCR, con 24,180 estrellas. Compresión óptica de contextos
¿Qué lenguajes de programación se utilizan más en los repositorios de #flash-attention?
Entre los proyectos de #flash-attention mejor posicionados en GitHub, los lenguajes de programación más comunes son Python, Cuda, TeX, C++.
¿Cómo se calcula la clasificación de los repositorios de #flash-attention?
Seguimos 48 repositorios activos de código abierto etiquetados con #flash-attention (500+ estrellas), que suman un total de 156,291 estrellas, con una media de 3,256 estrellas por repositorio. Las clasificaciones se actualizan diariamente a partir de la API de GitHub.