#inference-acceleration Dépôts
Découvrez 14 dépôts GitHub open source actifs associés à #inference-acceleration, cumulant 24,811 étoiles au total (soit une moyenne de 1,772 étoiles par projet). Le projet en tête de ce thème est openai/consistency_models, avec 6,461 étoiles.
14 dépôts au total
[ICLR2025, ICML2025, NeurIPS2025 Spotlight] L'attention quantifiée (Quantized Attention) atteint une accélération de 2 à 5 fois par rapport à FlashAttention, sans perte de métriques de bout en bout sur les modèles de langage, d'image et de vidéo.
TurboDiffusion : Accélération de 100 à 200× pour les modèles de diffusion vidéo
Les embeddings de pas de temps racontent : il est temps de mettre en cache pour le modèle de diffusion vidéo
Une version orientée vers l'inférence hors ligne par lots de segment-anything
[ICML2025] SpargeAttention : Une attention éparse sans entraînement qui accélère l'inférence de n'importe quel modèle.
[NeurIPS'24 Spotlight, ICLR'25, ICML'25] Pour accélérer l'inférence des LLM à long contexte, des calculs d'attention épars approximatifs et dynamiques réduisent la latence d'inférence jusqu'à 10 fois pour le pré-remplissage sur un A100 tout en maintenant la précision.
Implémentation officielle de « Fast-dLLM : Accélération sans entraînement des LLM de diffusion en activant le cache KV et le décodage parallèle »
SparkDiffusion : accélérer la génération vidéo avec DiT de 265× grâce à la parcimonie, à la distillation, à la quantification conjointes, etc.
[ECCV 2024 Présentation Orale] Code pour l'article : Une image vaut 1/2 jeton après la couche 2 : Accélération de l'inférence plug-and-play pour les grands modèles vision-langage
SLA : Au-delà de la parcimonie dans les transformeurs de diffusion grâce à une attention creuse-linéaire ajustable
Exécutez plusieurs agents d’IA en même temps sur votre Mac, jusqu’à 3 fois plus vite.
Foire aux questions
Quel est le dépôt #inference-acceleration le plus populaire sur GitHub ?
Le projet #inference-acceleration open source le mieux classé sur GitHub est openai/consistency_models, avec 6,461 étoiles. Dépôt officiel pour les modèles de cohérence.
Quels langages de programmation sont les plus utilisés dans les dépôts #inference-acceleration ?
Parmi les projets #inference-acceleration les mieux classés sur GitHub, les langages de programmation les plus courants sont Python, Cuda.
Comment le classement des dépôts #inference-acceleration est-il calculé ?
Nous suivons 14 dépôts open source actifs associés à #inference-acceleration (500+ étoiles), totalisant 24,811 étoiles, avec une moyenne de 1,772 étoiles par dépôt. Les classements sont mis à jour quotidiennement à partir de l’API GitHub.