Git Stars Git Stars

#inference Repository

Scopri 144 repository GitHub open source attivi contrassegnati con #inference, che raccolgono un totale di 870,238 stelle (con una media di 6,043 stelle per progetto). Il progetto leader di questo argomento è vllm-project/vllm, con 97,302 stelle.

144
Totale Repository
870,238
Totale stelle
6,043
Media Stelle/Repo

144 repository in totale

1
vllm-project/vllm

Un motore di inferenza e serving per LLM ad alta produttività ed efficiente in termini di memoria

vllm-project
⭐ 97,302 Python 👤 vllm-project Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2023-02-09
2
ultralytics/yolov5

Ultralytics YOLOv5 in PyTorch per rilevamento oggetti, segmentazione di istanze, classificazione, addestramento ed esportazione.

ultralytics
⭐ 58,290 Python 👤 ultralytics Organization 🕐 Aggiornato 2026-11-16 📅 Creato 2020-05-18
3
ggml-org/whisper.cpp

Porting del modello Whisper di OpenAI in C/C++

ggml-org
⭐ 55,392 C++ 👤 ggml-org Organization 🕐 Aggiornato 2026-11-20 📅 Creato 2022-09-25
4
deepspeedai/DeepSpeed

DeepSpeed è una libreria di ottimizzazione per il deep learning che rende il training distribuito e l'inferenza facili, efficienti ed efficaci.

deepspeedai
⭐ 43,348 Python 👤 deepspeedai Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2020-01-23
5
hpcaitech/ColossalAI

Rendere i grandi modelli di IA più economici, veloci e accessibili

hpcaitech
⭐ 41,421 Python 👤 hpcaitech Organization 🕐 Aggiornato 2026-11-19 📅 Creato 2021-10-28
6
sgl-project/sglang

SGLang è un framework di serving ad alte prestazioni per modelli linguistici di grandi dimensioni e modelli multimodali.

sgl-project
⭐ 38,899 Python 👤 sgl-project Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2024-01-08
7
google-ai-edge/mediapipe

Soluzioni ML multipiattaforma e personalizzabili per media live e in streaming.

google-ai-edge
⭐ 37,769 C++ 👤 google-ai-edge Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2019-06-13
8
SYSTRAN/faster-whisper

Trascrizione Whisper più veloce con CTranslate2

SYSTRAN
⭐ 26,924 Python 👤 SYSTRAN Organization 🕐 Aggiornato 2026-11-12 📅 Creato 2023-02-11
9
Tencent/ncnn

ncnn è un framework di inferenza per reti neurali ad alte prestazioni ottimizzato per piattaforme mobili

Tencent
⭐ 24,082 C++ 👤 Tencent Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2017-06-30
10
stas00/ml-engineering

Libro aperto di ingegneria dell'apprendimento automatico

stas00
⭐ 19,738 Python 👤 stas00 User 🕐 Aggiornato 2026-11-20 📅 Creato 2020-09-02
11
FlashML-org/FreeToken

FreeToken porta il servizio di modelli su scala data center sul tuo desktop. Esegui modelli enormi localmente, in modo rapido ed efficiente.

FlashML-org
⭐ 17,522 Python 👤 FlashML-org User 🕐 Aggiornato 2026-11-21 📅 Creato 2026-07-20
⭐ 16,519 Python 👤 GeeeekExplorer User 🕐 Aggiornato 2026-04-26 📅 Creato 2025-06-09
13
gvergnaud/ts-pattern

🎨 La libreria esaustiva di Pattern Matching per TypeScript, con inferenza di tipo intelligente.

gvergnaud
⭐ 15,224 TypeScript 👤 gvergnaud User 🕐 Aggiornato 2026-11-20 📅 Creato 2020-05-24
14
NVIDIA/TensorRT

NVIDIA® TensorRT™ è un SDK per l'inferenza di deep learning ad alte prestazioni su GPU NVIDIA. Questo repository contiene i componenti open source di TensorRT.

NVIDIA
⭐ 13,475 C++ 👤 NVIDIA Organization 🕐 Aggiornato 2026-11-18 📅 Creato 2019-05-02
15
LMCache/LMCache

LMCache: Potenzia il tuo LLM con il livello di cache KV più veloce

LMCache
⭐ 12,405 Python 👤 LMCache Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2024-05-28
16
openvinotoolkit/openvino

OpenVINO™ è un toolkit open source per l'ottimizzazione e il deployment dell'inferenza AI.

openvinotoolkit
⭐ 11,869 C++ 👤 openvinotoolkit Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2018-10-15
17
triton-inference-server/server

Il server di inferenza Triton fornisce una soluzione di inferenza ottimizzata per cloud e edge.

triton-inference-server
⭐ 11,156 Python 👤 triton-inference-server Organization 🕐 Aggiornato 2026-11-20 📅 Creato 2018-10-04
18
aws/amazon-sagemaker-examples

Notebook Jupyter 📓 di esempio che dimostrano come costruire, addestrare e distribuire modelli di machine learning utilizzando 🧠 Amazon SageMaker.

aws
⭐ 11,020 Jupyter Notebook 👤 aws Organization 🕐 Aggiornato 2026-10-14 📅 Creato 2017-10-23
19
huggingface/text-generation-inference

Inferenza sulla generazione di testo di modelli linguistici di grandi dimensioni

huggingface
⭐ 10,812 Python 👤 huggingface Organization 🕐 Aggiornato 2026-01-08 📅 Creato 2022-10-08
20
ultralytics/yolov3

Implementazione PyTorch di YOLOv3, YOLOv3-SPP e YOLOv3-tiny per il rilevamento di oggetti in tempo reale con addestramento, validazione, inferenza ed esportazione in più formati.

ultralytics
⭐ 10,647 Python 👤 ultralytics Organization 🕐 Aggiornato 2026-11-07 📅 Creato 2018-08-26
21
RunanywhereAI/runanywhere-sdks

Toolkit pronto per la produzione per eseguire l'IA localmente

RunanywhereAI
⭐ 10,354 C++ 👤 RunanywhereAI Organization 🕐 Aggiornato 2026-11-10 📅 Creato 2025-07-22
22
xorbitsai/inference

Piattaforma open source per l’inferenza di modelli linguistici, visivi, di embedding, reranking, immagini, audio e video. Distribuisci più motori su hardware eterogeneo, da un laptop a un cluster distribuito. Fornisci modelli tramite API compatibili con OpenAI.

xorbitsai
⭐ 9,667 Python 👤 xorbitsai Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2023-06-14
23
oumi-ai/oumi

Metti facilmente a punto (SFT/RL), valuta e distribuisci Qwen, Gemma o qualsiasi LLM/VLM agentico open source!

oumi-ai
⭐ 9,441 Python 👤 oumi-ai Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2024-05-07
24
dusty-nv/jetson-inference

Guida Hello AI World per il deployment di reti di inferenza deep-learning e primitive di visione profonda con TensorRT e NVIDIA Jetson.

dusty-nv
⭐ 9,015 C++ 👤 dusty-nv User 🕐 Aggiornato 2025-10-16 📅 Creato 2016-07-30
25
vllm-project/vllm-omni

Un framework per l'inferenza efficiente del modello con modelli omni-modalità

vllm-project
⭐ 7,884 Python 👤 vllm-project Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2025-09-11
26
Human-Agent-Society/reef

Infrastruttura per agenti in continuo auto-miglioramento

Human-Agent-Society
⭐ 7,652 Python 👤 Human-Agent-Society Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2026-08-31
27
mizorewww/laya-mlx

Runtime MLX nativo per i modelli decisionali tipizzati di Laya: decisioni brevi in 7–14 ms su un M3 Max. Nessuna generazione di testo, né PyTorch o API cloud.

mizorewww
⭐ 7,115 Python 👤 mizorewww User 🕐 Aggiornato 2026-11-21 📅 Creato 2026-09-19
28
kvcache-ai/Mooncake

Mooncake è la piattaforma di serving per Kimi, un servizio LLM leader fornito da Moonshot AI.

kvcache-ai
⭐ 7,100 C++ 👤 kvcache-ai Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2024-06-25
29
gcanti/io-ts

Sistema di tipi di runtime per la decodifica/codifica IO

gcanti
⭐ 6,812 TypeScript 👤 gcanti User 🕐 Aggiornato 2024-12-10 📅 Creato 2017-01-28
30
vllm-project/semantic-router

Un livello decisionale aperto e programmabile per modelli e calcolo.

vllm-project
⭐ 6,514 Go 👤 vllm-project Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2025-08-26
31
argmaxinc/argmax-oss-swift

IA Vocale On-Device per Apple Silicon

argmaxinc
⭐ 6,471 Swift 👤 argmaxinc Organization 🕐 Aggiornato 2026-10-27 📅 Creato 2024-01-26
32
Trusted-AI/adversarial-robustness-toolbox

Strumento di Robustezza Avversariale (ART) - Libreria Python per la Sicurezza del Machine Learning - Evasione, Avvelenamento, Estrazione, Inferenza - Team Rosso e Blu

Trusted-AI
⭐ 6,322 Python 👤 Trusted-AI Organization 🕐 Aggiornato 2026-11-13 📅 Creato 2018-03-15
33
gpustack/gpustack

Un gestore di cluster GPU per il serving di modelli AI ad alte prestazioni (vLLM, SGLang) e istanze GPU on-demand accessibili via SSH.

gpustack
⭐ 6,097 Python 👤 gpustack Organization 🕐 Aggiornato 2026-11-20 📅 Creato 2024-05-11
34
llm-d/llm-d

Prestazioni di inferenza all’avanguardia con acceleratori moderni su Kubernetes

llm-d
⭐ 5,325 Python 👤 llm-d Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2025-04-29
35
superduper-io/superduper

Superduper: Framework end-to-end per la creazione di applicazioni e agenti AI personalizzati.

superduper-io
⭐ 5,317 Python 👤 superduper-io Organization 🕐 Aggiornato 2025-09-01 📅 Creato 2022-08-30
36
tencentmusic/cube-studio

cube studio Piattaforma AI Open-Source Cloud-Native One-Stop per Machine Learning/Deep Learning/Grandi Modelli, MLOps Flusso completo del link algoritmico, Piattaforma di noleggio di capacità computazionale, Sviluppo online Notebook, Orchestrazione di pipeline di flusso di task drag-and-drop, Addestramento distribuito multi-macchina multi-GPU, Ricerca di iperparametri, Virtualizzazione VGPU del servizio di inferenza, Edge Computing, Annotazione automatizzata della piattaforma di annotazione, Fine-tuning SFT di grandi modelli/Modello di ricompensa/Addestramento di apprendimento per rinforzo di Deepseek, Inferenza multi-macchina di grandi modelli come vLLM/Ollama/MindSpore, Knowledge Base privata, Mercato di modelli AI, Supporto per CPU/GPU/NPU domestici ecosistema Ascend, Supporto per RDMA, Supporto per framework distribuiti come PyTorch/TF/MXNet/DeepSpeed/Paddle/ColossalAI/Horovod/Ray/Volcano

tencentmusic
⭐ 5,085 👤 tencentmusic Organization 🕐 Aggiornato 2026-10-09 📅 Creato 2021-08-17
37
NVIDIA-AI-IOT/torch2trt

Un convertitore da PyTorch a TensorRT facile da usare

NVIDIA-AI-IOT
⭐ 4,840 Python 👤 NVIDIA-AI-IOT Organization 🕐 Aggiornato 2024-08-17 📅 Creato 2019-04-27
38
hao-ai-lab/FastVideo

Un framework unificato di inferenza e post-allenamento per la generazione accelerata di video.

hao-ai-lab
⭐ 4,833 Python 👤 hao-ai-lab Organization 🕐 Aggiornato 2026-11-20 📅 Creato 2024-10-24
39
OpenNMT/CTranslate2

Motore di inferenza veloce per modelli Transformer

OpenNMT
⭐ 4,758 C++ 👤 OpenNMT Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2019-09-23
40
Tencent/TNN

TNN: sviluppato da Tencent Youtu Lab e Guangying Lab, un framework di inferenza deep learning uniforme per dispositivi mobili, desktop e server. TNN si distingue per diverse caratteristiche eccezionali, tra cui la capacità multipiattaforma, le elevate prestazioni, la compressione dei modelli e la potatura del codice. Basato su ncnn e Rapidnet, TNN rafforza ulteriormente il supporto e l'ottimizzazione delle prestazioni per i dispositivi mobili, attingendo anche ai vantaggi di buona estensibilità e alte prestazioni dagli sforzi open source esistenti.

Tencent
⭐ 4,635 C++ 👤 Tencent Organization 🕐 Aggiornato 2025-05-09 📅 Creato 2020-05-29
41
typedb/typedb

TypeDB: Progettato per i sistemi, non per i record

typedb
⭐ 4,524 Rust 👤 typedb Organization 🕐 Aggiornato 2026-11-19 📅 Creato 2016-07-11
42
openvinotoolkit/open_model_zoo

Modelli di Deep Learning pre-addestrati e demo (alta qualità ed estremamente veloci)

openvinotoolkit
⭐ 4,440 Python 👤 openvinotoolkit Organization 🕐 Aggiornato 2026-11-16 📅 Creato 2018-10-15
43
zml/zml

Qualsiasi modello. Qualsiasi hardware. Zero compromessi. Costruito con @ziglang / @openxla / MLIR / @bazelbuild

zml
⭐ 4,292 Zig 👤 zml Organization 🕐 Aggiornato 2026-11-20 📅 Creato 2024-09-17
44
uxlfoundation/oneDNN

Libreria open source di operazioni ottimizzate di deep learning (moltiplicazione di matrici, convoluzione e attenzione) per CPU (x64, AArch64, RISC-V) e GPU Intel. Utilizzata da PyTorch, TensorFlow, OpenVINO e ONNX Runtime.

uxlfoundation
⭐ 4,094 C++ 👤 uxlfoundation Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2016-05-09
45
OpenCSGs/csghub

CSGHub è una piattaforma open-source nuovissima per la gestione di LLM, sviluppata dal team OpenCSG. Offre soluzioni sia open-source che on-premise/SaaS, con funzionalità paragonabili a Hugging Face. Ottieni il pieno controllo sul ciclo di vita di LLM, dataset e agenti, con compatibilità dell'SDK Python con Hugging Face. Unisciti a noi! ⭐️

OpenCSGs
⭐ 4,083 Vue 👤 OpenCSGs Organization 🕐 Aggiornato 2026-11-13 📅 Creato 2024-01-12
46
FlashML-org/FreeVideo

Crea video sul computer che già possiedi. FreeVideo esegue MiniMax H3 con appena 8 GB di VRAM e 16 GB di RAM e adatta il percorso di accelerazione al tuo hardware.

FlashML-org
⭐ 4,049 Python 👤 FlashML-org User 🕐 Aggiornato 2026-11-20 📅 Creato 2026-09-13
47
PaddlePaddle/FastDeploy

Toolkit ad alte prestazioni per inferenza e deployment di LLM e VLM basato su PaddlePaddle

PaddlePaddle
⭐ 3,722 Python 👤 PaddlePaddle Organization 🕐 Aggiornato 2026-09-24 📅 Creato 2022-06-27
48
superlinked/sie

Server di inferenza open source e cluster di produzione per tutti i modelli di cui il tuo agente ha bisogno.

superlinked
⭐ 3,534 Python 👤 superlinked Organization 🕐 Aggiornato 2026-11-20 📅 Creato 2023-11-07
49
huggingface/optimum

Accelera l'inferenza e l'addestramento di 🤗 Transformers, Diffusers, TIMM e Sentence Transformers con strumenti di ottimizzazione hardware facili da usare

huggingface
⭐ 3,525 Python 👤 huggingface Organization 🕐 Aggiornato 2026-11-16 📅 Creato 2021-07-20
50
zjhellofss/KuiperInfer

Ottimo progetto per neolaureati, autunnali, primaverili e stage! Ti guideremo passo dopo passo nell'implementazione di una libreria di inferenza deep learning ad alte prestazioni, supportando l'inferenza di modelli di grandi dimensioni come llama2, Unet, YoloV5, Resnet, ecc. Implementa passo dopo passo una libreria di inferenza deep learning ad alte prestazioni.

zjhellofss
⭐ 3,444 C++ 👤 zjhellofss User 🕐 Aggiornato 2025-06-22 📅 Creato 2022-11-21

Domande frequenti

1

Qual è il repository #inference più popolare su GitHub?

Il progetto open source #inference più alto in classifica su GitHub è vllm-project/vllm, con 97,302 stelle. Un motore di inferenza e serving per LLM ad alta produttività ed efficiente in termini di memoria

2

Quali linguaggi di programmazione sono più utilizzati nei repository #inference?

Tra i progetti #inference più alti in classifica su GitHub, i linguaggi di programmazione più comuni sono Python, C++, TypeScript, Jupyter Notebook.

3

Come viene calcolata la classifica dei repository #inference?

Monitoriamo 144 repository open source attivi contrassegnati con #inference (500+ stelle), per un totale di 870,238 stelle e una media di 6,043 stelle per repository. Le classifiche vengono aggiornate quotidianamente tramite l’API di GitHub.