#inference-acceleration Repositorios
Descubre 14 repositorios activos de código abierto de GitHub etiquetados con #inference-acceleration, que acumulan 24,811 estrellas en total (una media de 1,772 estrellas por proyecto). El líder de este tema es openai/consistency_models, con 6,461 estrellas.
14 repositorios en total
[ICLR2025, ICML2025, NeurIPS2025 Spotlight] La Atención Cuantificada (Quantized Attention) logra una aceleración de 2 a 5 veces en comparación con FlashAttention, sin perder métricas de extremo a extremo en modelos de lenguaje, imagen y video.
TurboDiffusion: Aceleración de 100 a 200 veces para modelos de difusión de video
Timestep Embedding Dice: Es hora de almacenar en caché para el modelo de difusión de video
Una versión orientada a la inferencia sin conexión por lotes de segment-anything
[ICML2025] SpargeAttention: Una atención dispersa sin entrenamiento que acelera la inferencia de cualquier modelo.
[NeurIPS'24 Spotlight, ICLR'25, ICML'25] Para acelerar la inferencia de LLM de contexto largo, el cálculo disperso aproximado y dinámico de la atención reduce la latencia de inferencia hasta 10 veces para el prellenado en un A100, manteniendo la precisión.
Implementación oficial de "Fast-dLLM: Aceleración sin entrenamiento de LLM de difusión habilitando la caché KV y la decodificación paralela"
SparkDiffusion: acelera la generación de vídeo con DiT en 265× mediante sparsity, destilación, cuantización conjuntas, etc.
[ECCV 2024 Presentación Oral] Código del artículo: Una imagen vale 1/2 token después de la capa 2: Aceleración de inferencia plug-and-play para grandes modelos de lenguaje visual
SLA: Más allá de la dispersión en los transformadores de difusión mediante atención dispersa-lineal ajustable
Ejecuta varios agentes de IA a la vez en tu Mac, hasta 3 veces más rápido.
Preguntas frecuentes
¿Cuál es el repositorio de #inference-acceleration más popular en GitHub?
El proyecto de código abierto de #inference-acceleration mejor posicionado en GitHub es openai/consistency_models, con 6,461 estrellas. Repositorio oficial para modelos de consistencia.
¿Qué lenguajes de programación se utilizan más en los repositorios de #inference-acceleration?
Entre los proyectos de #inference-acceleration mejor posicionados en GitHub, los lenguajes de programación más comunes son Python, Cuda.
¿Cómo se calcula la clasificación de los repositorios de #inference-acceleration?
Seguimos 14 repositorios activos de código abierto etiquetados con #inference-acceleration (500+ estrellas), que suman un total de 24,811 estrellas, con una media de 1,772 estrellas por repositorio. Las clasificaciones se actualizan diariamente a partir de la API de GitHub.