Git Stars Git Stars

#inference-optimization Repository

Scopri 41 repository GitHub open source attivi contrassegnati con #inference-optimization, che raccolgono un totale di 86,309 stelle (con una media di 2,105 stelle per progetto). Il progetto leader di questo argomento è lllyasviel/stable-diffusion-webui-forge, con 12,902 stelle.

41
Totale Repository
86,309
Totale stelle
2,105
Media Stelle/Repo

41 repository in totale

2
THUDM/slime

slime è un framework per l’addestramento di LLM pensato per scalare l’apprendimento per rinforzo.

THUDM
⭐ 8,856 Python 👤 THUDM Organization 🕐 Aggiornato 2026-11-05 📅 Creato 2025-06-18
3
deepseek-ai/open-infra-index

Strumenti di infrastruttura AI testati in produzione per lo sviluppo efficiente di AGI e l'innovazione guidata dalla comunità

deepseek-ai
⭐ 8,007 👤 deepseek-ai Organization 🕐 Aggiornato 2025-05-15 📅 Creato 2025-02-21
4
microsoft/LLMLingua

[EMNLP'23, ACL'24] Per accelerare l'inferenza dei LLM e migliorare la percezione delle informazioni chiave da parte dei LLM, comprimiamo il prompt e la KV-Cache, ottenendo fino a 20 volte la compressione con una minima perdita di prestazioni.

microsoft
⭐ 6,846 Python 👤 microsoft Organization 🕐 Aggiornato 2026-11-09 📅 Creato 2023-07-07
5
QwenLM/Qwen3.8

Qwen3.8 è una serie di modelli linguistici di grandi dimensioni sviluppata dal team Qwen di Alibaba Group.

QwenLM
⭐ 4,459 👤 QwenLM Organization 🕐 Aggiornato 2026-08-17 📅 Creato 2025-09-11
7
syv-ai/HyperQwen

Esegui rapidamente modelli Qwen di grandi dimensioni sulle GPU che possiedi davvero. Qwen3.8-27B su una singola scheda da 24 GB con vLLM: 127 tok/s per un singolo utente (381 quando la risposta cita il prompt), circa 1.035 tok/s con 64 richieste simultanee e un contesto di 150k–262k. Patch per vLLM, pipeline di requantizzazione e benchmark.

syv-ai
⭐ 2,778 Python 👤 syv-ai Organization 🕐 Aggiornato 2026-11-10 📅 Creato 2026-08-15
8
google/XNNPACK

Operatori di inferenza per reti neurali a virgola mobile ad alta efficienza per dispositivi mobili, server e Web

google
⭐ 2,506 C 👤 google Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2019-09-13
9
XiaomiMiMo/MiMo

MiMo: Liberare il potenziale di ragionamento dei modelli linguistici – dal pretraining al posttraining

XiaomiMiMo
⭐ 2,411 Python 👤 XiaomiMiMo Organization 🕐 Aggiornato 2026-10-29 📅 Creato 2025-04-26
10
AmberLJC/LLMSys-PaperList

Elenco di articoli sui sistemi di modelli linguistici di grandi dimensioni (LLM)

AmberLJC
⭐ 2,332 Python 👤 AmberLJC User 🕐 Aggiornato 2026-10-20 📅 Creato 2023-06-06
11
facebookresearch/blt

Codice per articolo di ricerca BLT

facebookresearch
⭐ 2,070 Python 👤 facebookresearch Organization 🕐 Aggiornato 2025-11-03 📅 Creato 2024-12-09
12
NUS-HPC-AI-Lab/VideoSys

VideoSys: Un sistema facile ed efficiente per la generazione di video

NUS-HPC-AI-Lab
⭐ 2,022 Python 👤 NUS-HPC-AI-Lab Organization 🕐 Aggiornato 2025-08-27 📅 Creato 2024-02-17
13
NVIDIA/Stable-Diffusion-WebUI-TensorRT

Estensione TensorRT per Stable Diffusion Web UI

NVIDIA
⭐ 1,994 Python 👤 NVIDIA Organization 🕐 Aggiornato 2024-06-14 📅 Creato 2023-10-10
14
ChenyangSi/FreeU

FreeU: Pranzo Gratuito in Diffusion U-Net (CVPR2024 Orale)

ChenyangSi
⭐ 1,892 👤 ChenyangSi User 🕐 Aggiornato 2024-12-24 📅 Creato 2023-09-14
15
llmgenai/LLMInterviewQuestions

Questo repository contiene domande di intervista LLM (Large Language Model) poste in aziende leader come Google, Nvidia, Meta, Microsoft e aziende Fortune 500.

llmgenai
⭐ 1,781 👤 llmgenai User 🕐 Aggiornato 2025-02-12 📅 Creato 2024-12-26
16
chengzeyi/Comfy-WaveSpeed

https://wavespeed.ai/ [WIP] La soluzione di ottimizzazione dell'inferenza all-in-one per ComfyUI, universale, flessibile e veloce.

chengzeyi
⭐ 1,235 Python 👤 chengzeyi User 🕐 Aggiornato 2026-08-21 📅 Creato 2024-11-27
17
EdjeElectronics/TensorFlow-Object-Detection-on-the-Raspberry-Pi

Un tutorial che mostra come configurare l'API di Object Detection di TensorFlow su Raspberry Pi

EdjeElectronics
⭐ 1,156 Python 👤 EdjeElectronics User 🕐 Aggiornato 2024-08-10 📅 Creato 2018-06-05
18
gpu-mode/awesomeMLSys

Un elenco di onboarding per sistemi ML

gpu-mode
⭐ 1,154 👤 gpu-mode Organization 🕐 Aggiornato 2026-02-19 📅 Creato 2024-05-06
19
huggingface/search-and-learn

Ricette per scalare il calcolo in fase di inferenza di modelli aperti

huggingface
⭐ 1,134 Python 👤 huggingface Organization 🕐 Aggiornato 2026-09-23 📅 Creato 2024-12-09
21
allenai/OLMoE

OLMoE: Modelli Linguistici Open Mixture-of-Experts

allenai
⭐ 1,087 Jupyter Notebook 👤 allenai Organization 🕐 Aggiornato 2025-09-23 📅 Creato 2024-06-22
22
onnx/onnx-mlir

Rappresentazione e abbassamento dei riferimenti dei modelli ONNX nell'infrastruttura del compilatore MLIR

onnx
⭐ 1,072 MLIR 👤 onnx Organization 🕐 Aggiornato 2026-11-13 📅 Creato 2020-02-18
23
mryab/efficient-dl-systems

Materiali del corso sui sistemi di deep learning efficienti

mryab
⭐ 1,052 Jupyter Notebook 👤 mryab User 🕐 Aggiornato 2026-05-28 📅 Creato 2021-12-06
24
hzwer/Practical-RIFE

Un approccio più pratico all'interpolazione dei frame.

hzwer
⭐ 1,050 Python 👤 hzwer User 🕐 Aggiornato 2026-08-27 📅 Creato 2021-06-16
25
daixiangzi/Awesome-Token-Compress

Un elenco di alcuni lavori recenti sulla compressione dei token per Vit e VLM

daixiangzi
⭐ 966 👤 daixiangzi User 🕐 Aggiornato 2026-11-13 📅 Creato 2024-09-06
26
FoundationVision/Waver

Modello di base video a livello industriale per la generazione unificata da testo a video (T2V) e da immagine a video (I2V).

FoundationVision
⭐ 952 👤 FoundationVision Organization 🕐 Aggiornato 2025-08-27 📅 Creato 2025-08-05
27
alibaba/BladeDISC

BladeDISC è un progetto di compilatore a forma dinamica end-to-end per carichi di lavoro di machine learning.

alibaba
⭐ 911 C++ 👤 alibaba Organization 🕐 Aggiornato 2024-12-30 📅 Creato 2021-12-20
28
lifeiteng/OmniSenseVoice

Omni SenseVoice: Riconoscimento vocale ad alta velocità con timestamp delle parole 🗣️🎯

lifeiteng
⭐ 897 Python 👤 lifeiteng User 🕐 Aggiornato 2025-12-10 📅 Creato 2024-09-22
29
KohakuBlueleaf/a1111-sd-webui-lycoris

Un'estensione per stable-diffusion-webui per caricare modelli lycoris.

KohakuBlueleaf
⭐ 894 Python 👤 KohakuBlueleaf User 🕐 Aggiornato 2024-02-16 📅 Creato 2023-04-09
30
aiola-lab/whisper-medusa

Sussurra con teste di Medusa

aiola-lab
⭐ 860 Python 👤 aiola-lab Organization 🕐 Aggiornato 2026-07-02 📅 Creato 2024-07-17
31
datawhalechina/llm-algo-leetcode

Algoritmi e sistemi LLM con PyTorch, Triton e CUDA, con un approccio pratico. «Tutorial sugli algoritmi e i sistemi LLM»: architetture e addestramento dei modelli, post-addestramento, accelerazione dell’inferenza, ottimizzazione delle prestazioni e degli operatori; include esercizi in Notebook, spiegazioni delle risposte, test ed esperimenti.

datawhalechina
⭐ 811 Jupyter Notebook 👤 datawhalechina Organization 🕐 Aggiornato 2026-11-16 📅 Creato 2026-04-01
32
tensorflow/runtime

Un runtime performante e modulare per TensorFlow

tensorflow
⭐ 754 C++ 👤 tensorflow Organization 🕐 Aggiornato 2025-09-04 📅 Creato 2020-04-24
33
IEIT-Yuan/Yuan-2.0

Yuan 2.0 Large Language Model

IEIT-Yuan
⭐ 689 Python 👤 IEIT-Yuan Organization 🕐 Aggiornato 2024-07-11 📅 Creato 2023-11-26
34
microsoft/VPTQ

VPTQ, un algoritmo di quantizzazione flessibile ed estremamente a bassi bit

microsoft
⭐ 683 Python 👤 microsoft Organization 🕐 Aggiornato 2026-08-04 📅 Creato 2024-08-13
36
HybridTalentComputing/cline-chinese

Cline versione localizzata in cinese, Cline è un assistente di programmazione autonomo che viene eseguito nel tuo IDE e che, con il tuo permesso, può creare/modificare file, eseguire comandi, utilizzare il browser e altre funzioni.

HybridTalentComputing
⭐ 660 TypeScript 👤 HybridTalentComputing User 🕐 Aggiornato 2026-07-14 📅 Creato 2025-02-07
38
HazyResearch/aisys-building-blocks

Blocchi costitutivi per modelli di fondazione.

HazyResearch
⭐ 587 👤 HazyResearch Organization 🕐 Aggiornato 2024-01-03 📅 Creato 2023-11-30
39
brontoguana/krasis

Krasis è un runtime LLM ibrido che si concentra sull'esecuzione efficiente di modelli più grandi su hardware consumer con VRAM limitata

brontoguana
⭐ 530 C++ 👤 brontoguana User 🕐 Aggiornato 2026-11-12 📅 Creato 2026-02-09
40
amitshekhariitbhu/llm-inference-engineering

Impara l’ingegneria dell’inferenza degli LLM passo dopo passo: dalla cache KV, PagedAttention e il batching continuo fino a vLLM, SGLang e alle GPU.

amitshekhariitbhu
⭐ 523 Markdown 👤 amitshekhariitbhu User 🕐 Aggiornato 2026-11-09 📅 Creato 2026-08-18
41
YingqingHe/ScaleCrafter

[ICLR 2024 Spotlight] Implementazione ufficiale di ScaleCrafter per la generazione visiva a risoluzione più elevata al momento dell'inferenza.

YingqingHe
⭐ 508 Python 👤 YingqingHe User 🕐 Aggiornato 2024-03-07 📅 Creato 2023-10-07

Domande frequenti

1

Qual è il repository #inference-optimization più popolare su GitHub?

Il progetto open source #inference-optimization più alto in classifica su GitHub è lllyasviel/stable-diffusion-webui-forge, con 12,902 stelle.

2

Quali linguaggi di programmazione sono più utilizzati nei repository #inference-optimization?

Tra i progetti #inference-optimization più alti in classifica su GitHub, i linguaggi di programmazione più comuni sono Python, Jupyter Notebook, C++, C.

3

Come viene calcolata la classifica dei repository #inference-optimization?

Monitoriamo 41 repository open source attivi contrassegnati con #inference-optimization (500+ stelle), per un totale di 86,309 stelle e una media di 2,105 stelle per repository. Le classifiche vengono aggiornate quotidianamente tramite l’API di GitHub.