#inference-acceleration Repository
Scopri 14 repository GitHub open source attivi contrassegnati con #inference-acceleration, che raccolgono un totale di 24,811 stelle (con una media di 1,772 stelle per progetto). Il progetto leader di questo argomento è openai/consistency_models, con 6,461 stelle.
14 repository in totale
[ICLR2025, ICML2025, NeurIPS2025 Spotlight] L'attenzione Quantizzata (Quantized Attention) raggiunge un aumento di velocità da 2 a 5 volte rispetto a FlashAttention, senza perdere le metriche end-to-end sui modelli di linguaggio, immagine e video.
Timestep Embedding Dice: È ora di memorizzare nella cache per il modello di diffusione video
Una versione orientata all'inferenza offline in batch di segment-anything
[ICML2025] SpargeAttention: Un'attenzione sparsa senza addestramento che accelera l'inferenza di qualsiasi modello.
[NeurIPS'24 Spotlight, ICLR'25, ICML'25] Per accelerare l'inferenza dei LLM a lungo contesto, il calcolo approssimato e dinamico sparso dell'attenzione riduce la latenza di inferenza fino a 10 volte per il pre-fill su un A100, mantenendo l'accuratezza.
Implementazione ufficiale di "Fast-dLLM: Accelerazione senza addestramento di LLM di diffusione abilitando la cache KV e la decodifica parallela"
SparkDiffusion: accelerare la generazione video DiT di 265× tramite sparsità, distillazione, quantizzazione congiunte, ecc.
[ECCV 2024 Orale] Codice per l'articolo: Un'immagine vale 1/2 token dopo il Livello 2: Accelerazione dell'inferenza Plug-and-Play per grandi modelli linguistici visivi
SLA: Oltre la sparsità nei trasformatori di diffusione tramite attenzione sparsa-lineare regolabile
Esegui più agenti IA contemporaneamente sul tuo Mac, fino a 3 volte più velocemente.
Domande frequenti
Qual è il repository #inference-acceleration più popolare su GitHub?
Il progetto open source #inference-acceleration più alto in classifica su GitHub è openai/consistency_models, con 6,461 stelle. Repository ufficiale per modelli di consistenza.
Quali linguaggi di programmazione sono più utilizzati nei repository #inference-acceleration?
Tra i progetti #inference-acceleration più alti in classifica su GitHub, i linguaggi di programmazione più comuni sono Python, Cuda.
Come viene calcolata la classifica dei repository #inference-acceleration?
Monitoriamo 14 repository open source attivi contrassegnati con #inference-acceleration (500+ stelle), per un totale di 24,811 stelle e una media di 1,772 stelle per repository. Le classifiche vengono aggiornate quotidianamente tramite l’API di GitHub.