Git Stars Git Stars

#inference-acceleration Repository

Scopri 14 repository GitHub open source attivi contrassegnati con #inference-acceleration, che raccolgono un totale di 24,811 stelle (con una media di 1,772 stelle per progetto). Il progetto leader di questo argomento è openai/consistency_models, con 6,461 stelle.

14
Totale Repository
24,811
Totale stelle
1,772
Media Stelle/Repo
Linguaggi di programmazione: Python Cuda

14 repository in totale

1
openai/consistency_models

Repository ufficiale per modelli di consistenza.

openai
⭐ 6,461 Python 👤 openai Organization 🕐 Aggiornato 2024-03-22 📅 Creato 2023-02-26
2
thu-ml/SageAttention

[ICLR2025, ICML2025, NeurIPS2025 Spotlight] L'attenzione Quantizzata (Quantized Attention) raggiunge un aumento di velocità da 2 a 5 volte rispetto a FlashAttention, senza perdere le metriche end-to-end sui modelli di linguaggio, immagine e video.

thu-ml
⭐ 4,017 Cuda 👤 thu-ml Organization 🕐 Aggiornato 2026-01-17 📅 Creato 2024-10-03
3
thu-ml/TurboDiffusion

TurboDiffusion: Accelerazione di 100-200× per modelli di diffusione video

thu-ml
⭐ 3,870 Python 👤 thu-ml Organization 🕐 Aggiornato 2026-11-04 📅 Creato 2025-12-06
4
ali-vilab/TeaCache

Timestep Embedding Dice: È ora di memorizzare nella cache per il modello di diffusione video

ali-vilab
⭐ 1,333 Python 👤 ali-vilab Organization 🕐 Aggiornato 2025-06-08 📅 Creato 2024-11-27
5
meta-pytorch/segment-anything-fast

Una versione orientata all'inferenza offline in batch di segment-anything

meta-pytorch
⭐ 1,321 Python 👤 meta-pytorch Organization 🕐 Aggiornato 2025-08-22 📅 Creato 2023-08-30
6
thu-ml/SpargeAttn

[ICML2025] SpargeAttention: Un'attenzione sparsa senza addestramento che accelera l'inferenza di qualsiasi modello.

thu-ml
⭐ 1,269 Cuda 👤 thu-ml Organization 🕐 Aggiornato 2026-02-25 📅 Creato 2025-02-25
7
microsoft/MInference

[NeurIPS'24 Spotlight, ICLR'25, ICML'25] Per accelerare l'inferenza dei LLM a lungo contesto, il calcolo approssimato e dinamico sparso dell'attenzione riduce la latenza di inferenza fino a 10 volte per il pre-fill su un A100, mantenendo l'accuratezza.

microsoft
⭐ 1,230 Python 👤 microsoft Organization 🕐 Aggiornato 2026-11-18 📅 Creato 2024-05-22
8
NVlabs/Fast-dLLM

Implementazione ufficiale di "Fast-dLLM: Accelerazione senza addestramento di LLM di diffusione abilitando la cache KV e la decodifica parallela"

NVlabs
⭐ 1,116 Python 👤 NVlabs Organization 🕐 Aggiornato 2026-05-30 📅 Creato 2025-05-27
9
Alpha-VLLM/Lumina-mGPT-2.0

Lumina-mGPT 2.0: Modellazione autonoma autoregressiva di immagini

Alpha-VLLM
⭐ 1,081 Python 👤 Alpha-VLLM Organization 🕐 Aggiornato 2025-11-03 📅 Creato 2025-04-03
10
AlibabaResearch/SparkDiffusion

SparkDiffusion: accelerare la generazione video DiT di 265× tramite sparsità, distillazione, quantizzazione congiunte, ecc.

AlibabaResearch
⭐ 750 Python 👤 AlibabaResearch Organization 🕐 Aggiornato 2026-10-26 📅 Creato 2026-09-18
11
OpenGVLab/DCNv4

[CVPR 2024] Deformable Convolution v4

OpenGVLab
⭐ 695 Python 👤 OpenGVLab Organization 🕐 Aggiornato 2024-05-17 📅 Creato 2023-12-25
12
pkunlp-icler/FastV

[ECCV 2024 Orale] Codice per l'articolo: Un'immagine vale 1/2 token dopo il Livello 2: Accelerazione dell'inferenza Plug-and-Play per grandi modelli linguistici visivi

pkunlp-icler
⭐ 579 Python 👤 pkunlp-icler Organization 🕐 Aggiornato 2025-01-04 📅 Creato 2024-03-11
13
thu-ml/SLA

SLA: Oltre la sparsità nei trasformatori di diffusione tramite attenzione sparsa-lineare regolabile

thu-ml
⭐ 553 Python 👤 thu-ml Organization 🕐 Aggiornato 2026-10-18 📅 Creato 2025-09-25
14
Generated-Computers/Locals

Esegui più agenti IA contemporaneamente sul tuo Mac, fino a 3 volte più velocemente.

Generated-Computers
⭐ 538 Python 👤 Generated-Computers Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2026-10-12

Domande frequenti

1

Qual è il repository #inference-acceleration più popolare su GitHub?

Il progetto open source #inference-acceleration più alto in classifica su GitHub è openai/consistency_models, con 6,461 stelle. Repository ufficiale per modelli di consistenza.

2

Quali linguaggi di programmazione sono più utilizzati nei repository #inference-acceleration?

Tra i progetti #inference-acceleration più alti in classifica su GitHub, i linguaggi di programmazione più comuni sono Python, Cuda.

3

Come viene calcolata la classifica dei repository #inference-acceleration?

Monitoriamo 14 repository open source attivi contrassegnati con #inference-acceleration (500+ stelle), per un totale di 24,811 stelle e una media di 1,772 stelle per repository. Le classifiche vengono aggiornate quotidianamente tramite l’API di GitHub.