Git Stars Git Stars

#inference Repository

144
Totale Repository
870,238
Totale stelle
6,043
Media Stelle/Repo
51
trymirai/uzu

Un motore di inferenza ad alte prestazioni per modelli AI

trymirai
โญ 3,378 Rust ๐Ÿ‘ค trymirai Organization ๐Ÿ• Aggiornato 2026-11-21 ๐Ÿ“… Creato 2025-06-23
52
openvinotoolkit/openvino_notebooks

๐Ÿ“š Tutorial Jupyter Notebook per OpenVINOโ„ข

openvinotoolkit
โญ 3,245 Jupyter Notebook ๐Ÿ‘ค openvinotoolkit Organization ๐Ÿ• Aggiornato 2026-11-21 ๐Ÿ“… Creato 2021-03-11
53
vllm-project/vllm-ascend

Plugin hardware per vLLM su Huawei Ascend mantenuto dalla comunitร 

vllm-project
โญ 3,128 Python ๐Ÿ‘ค vllm-project Organization ๐Ÿ• Aggiornato 2026-11-21 ๐Ÿ“… Creato 2025-01-29
54
pytorch/ao

Quantizzazione nativa PyTorch per addestramento e inferenza

pytorch
โญ 3,032 Python ๐Ÿ‘ค pytorch Organization ๐Ÿ• Aggiornato 2026-11-21 ๐Ÿ“… Creato 2023-11-03
55
pykeio/ort

Inferenza e addestramento ML veloci per modelli ONNX in Rust

pykeio
โญ 2,626 Rust ๐Ÿ‘ค pykeio Organization ๐Ÿ• Aggiornato 2026-11-18 ๐Ÿ“… Creato 2022-11-26
56
data-infra/cube-studio

CubeStudio รจ una piattaforma open source cloud-native all-in-one per machine learning/deep learning/grandi modelli AI/MaaS/MLOps/piattaforma di intelligenza artificiale/piattaforma di training e inferenza, che copre l'intero pipeline dell'algoritmo, multi-tenancy, piattaforma di noleggio di potenza di calcolo, relay di token, orchestrazione di pipeline di flussi di lavoro tramite trascinamento, training distribuito multi-macchina multi-scheda, ricerca di iperparametri, servizi di inferenza, virtualizzazione VGPU, collaborazione cloud-edge-dispositivo, edge computing, piattaforma di annotazione automatizzata, fine-tuning SFT/modello di ricompensa/training di apprendimento per rinforzo per grandi modelli come DeepSeek, inferenza multi-macchina per grandi modelli con vLLM/Ollama/MindIE, agenti intelligenti LLMOps con knowledge base privata, mercato di modelli AI, supporto per la pianificazione di potenza di calcolo eterogenea nazionale (Ascend, Cambricon, Hygon, Moore Threads, Muxi, ecc.), supporto per IB/RoCE/RDMA e supporto Xinchuang.

data-infra
โญ 2,615 Python ๐Ÿ‘ค data-infra User ๐Ÿ• Aggiornato 2026-10-12 ๐Ÿ“… Creato 2024-07-02
57
huggingface/huggingface.js

Utilizza Hugging Face con JavaScript

huggingface
โญ 2,613 TypeScript ๐Ÿ‘ค huggingface Organization ๐Ÿ• Aggiornato 2026-11-21 ๐Ÿ“… Creato 2023-02-06
58
ddalcu/mlx-serve

Server nativo per lโ€™inferenza di LLM su Apple Silicon. Compatibile con le API di OpenAI e Anthropic. Senza Python. App macOS con backend in Zig e frontend in Swift, per la generazione di chat, musica, voce e video.

ddalcu
โญ 2,528 Zig ๐Ÿ‘ค ddalcu User ๐Ÿ• Aggiornato 2026-11-21 ๐Ÿ“… Creato 2026-02-17
59
google/XNNPACK

Operatori di inferenza per reti neurali a virgola mobile ad alta efficienza per dispositivi mobili, server e Web

google
โญ 2,506 C ๐Ÿ‘ค google Organization ๐Ÿ• Aggiornato 2026-11-21 ๐Ÿ“… Creato 2019-09-13
60
roboflow/inference

Trasforma qualsiasi computer o dispositivo edge in un centro di comando per i tuoi progetti di computer vision.

roboflow
โญ 2,500 Python ๐Ÿ‘ค roboflow Organization ๐Ÿ• Aggiornato 2026-11-21 ๐Ÿ“… Creato 2023-07-31
61
theagentrouter/agent-router

Gestisce l'accesso unificato ai servizi di IA generativa basati su Envoy Gateway

theagentrouter
โญ 2,428 Go ๐Ÿ‘ค theagentrouter Organization ๐Ÿ• Aggiornato 2026-11-19 ๐Ÿ“… Creato 2024-10-21
62
adithya-s-k/AI-Engineering.academy

Padrroneggiare l'IA applicata, un concetto alla volta

adithya-s-k
โญ 2,388 Jupyter Notebook ๐Ÿ‘ค adithya-s-k User ๐Ÿ• Aggiornato 2026-02-27 ๐Ÿ“… Creato 2023-10-05
63
dstackai/dstack

Un livello di orchestrazione unificato per il calcolo IA eterogeneo. Standardizza la gestione delle risorse di calcolo e lโ€™esecuzione di addestramento e inferenza su cloud GPU, Kubernetes, macchine virtuali o cluster bare metal.

dstackai
โญ 2,319 Python ๐Ÿ‘ค dstackai Organization ๐Ÿ• Aggiornato 2026-11-20 ๐Ÿ“… Creato 2022-01-04
64
mozilla-ai/any-llm

Comunica con un provider LLM utilizzando un'unica interfaccia

mozilla-ai
โญ 2,265 Python ๐Ÿ‘ค mozilla-ai Organization ๐Ÿ• Aggiornato 2026-11-21 ๐Ÿ“… Creato 2025-07-14
65
RightNow-AI/picolm

Esegui un LLM con 1โ€ฏmiliardo di parametri su una scheda da $10 con 256โ€ฏMB di RAM.

RightNow-AI
โญ 2,218 C ๐Ÿ‘ค RightNow-AI Organization ๐Ÿ• Aggiornato 2026-02-22 ๐Ÿ“… Creato 2026-02-19
66
magenta/magenta-js

Magenta.js: Generazione di musica e arte con il machine learning nel browser

magenta
โญ 2,136 TypeScript ๐Ÿ‘ค magenta Organization ๐Ÿ• Aggiornato 2026-06-22 ๐Ÿ“… Creato 2018-03-26
67
tairov/llama2.mojo

Inferenza Llama 2 in un file di puro ๐Ÿ”ฅ

tairov
โญ 2,126 Mojo ๐Ÿ‘ค tairov User ๐Ÿ• Aggiornato 2026-09-30 ๐Ÿ“… Creato 2023-09-10
68
deepspeedai/DeepSpeed-MII

MII rende possibile un'inferenza a bassa latenza e ad alto throughput, alimentata da DeepSpeed.

deepspeedai
โญ 2,107 Python ๐Ÿ‘ค deepspeedai Organization ๐Ÿ• Aggiornato 2025-06-30 ๐Ÿ“… Creato 2022-03-23
69
microsoft/aici

AICI: Prompts come (Wasm) Programmi

microsoft
โญ 2,077 Rust ๐Ÿ‘ค microsoft Organization ๐Ÿ• Aggiornato 2025-01-22 ๐Ÿ“… Creato 2023-09-26
70
SemiAnalysisAI/InferenceX

Piattaforma di ricerca sullโ€™inferenza open source

SemiAnalysisAI
โญ 2,074 Python ๐Ÿ‘ค SemiAnalysisAI Organization ๐Ÿ• Aggiornato 2026-11-21 ๐Ÿ“… Creato 2025-07-12
71
sgl-project/sglang-omni

Runtime ad alte prestazioni per lโ€™erogazione di sistemi di superintelligenza interattivi

sgl-project
โญ 1,882 Python ๐Ÿ‘ค sgl-project Organization ๐Ÿ• Aggiornato 2026-11-21 ๐Ÿ“… Creato 2026-01-07
72
AgibotTech/agibot_x1_infer

Il modulo di inferenza per AgiBot X1.

AgibotTech
โญ 1,817 C++ ๐Ÿ‘ค AgibotTech Organization ๐Ÿ• Aggiornato 2025-04-03 ๐Ÿ“… Creato 2024-10-23
73
StartLuxLabs/StartLux-Decision

Modelli decisionali aperti da 0,8B a 27B: una probabilitร  calibrata per ogni opzione in un solo passaggio e un breve ragionamento solo in caso di incertezza. Motore per vLLM, llama.cpp e MLX.

StartLuxLabs
โญ 1,780 Python ๐Ÿ‘ค StartLuxLabs Organization ๐Ÿ• Aggiornato 2026-10-23 ๐Ÿ“… Creato 2026-09-29
74
theopenco/llmgateway

Instrada, gestisci e analizza le tue richieste LLM su piรน provider con un'unica interfaccia API unificata.

theopenco
โญ 1,755 TypeScript ๐Ÿ‘ค theopenco Organization ๐Ÿ• Aggiornato 2026-11-21 ๐Ÿ“… Creato 2025-04-12
75
Maratyszcza/NNPACK

Pacchetto di accelerazione per reti neurali su CPU multi-core

Maratyszcza
โญ 1,702 C ๐Ÿ‘ค Maratyszcza User ๐Ÿ• Aggiornato 2024-06-11 ๐Ÿ“… Creato 2016-03-21
76
ELS-RD/transformer-deploy

Server di inferenza CPU/GPU efficiente, scalabile e di livello enterprise per i modelli transformer di ๐Ÿค— Hugging Face ๐Ÿš€

ELS-RD
โญ 1,689 Python ๐Ÿ‘ค ELS-RD Organization ๐Ÿ• Aggiornato 2024-10-23 ๐Ÿ“… Creato 2021-10-31
77
RunanywhereAI/trnrt

Il motore di inferenza LLM open source per AWS Trainium: megakernel NKI, contesto da 1 milione di token e API compatibile con OpenAI. Di RunAnywhere.

RunanywhereAI
โญ 1,653 Python ๐Ÿ‘ค RunanywhereAI Organization ๐Ÿ• Aggiornato 2026-11-20 ๐Ÿ“… Creato 2026-10-30
78
xLLM-AI/xllm

Un motore di inferenza ad alte prestazioni per modelli LLM, VLM e DiT, ottimizzato per diversi acceleratori di IA. รˆ ospitato dalla OpenAtom Foundation.

xLLM-AI
โญ 1,626 C++ ๐Ÿ‘ค xLLM-AI Organization ๐Ÿ• Aggiornato 2026-11-21 ๐Ÿ“… Creato 2025-08-12
79
Delta-ML/delta

DELTA รจ una piattaforma di elaborazione del linguaggio naturale e della voce basata sull'apprendimento profondo. LF AI & DATA Projects: https://lfaidata.foundation/projects/delta/

Delta-ML
โญ 1,602 Python ๐Ÿ‘ค Delta-ML Organization ๐Ÿ• Aggiornato 2025-04-16 ๐Ÿ“… Creato 2019-05-29
80
utkuozdemir/nvidia_gpu_exporter

Exporter di GPU NVIDIA per Prometheus utilizzando il binario nvidia-smi OPPURE NVML

utkuozdemir
โญ 1,599 Go ๐Ÿ‘ค utkuozdemir User ๐Ÿ• Aggiornato 2026-11-20 ๐Ÿ“… Creato 2021-06-08
81
Tencent/TurboTransformers

un runtime veloce e user-friendly per l'inferenza di transformer (Bert, Albert, GPT2, Decoders, ecc.) su CPU e GPU.

Tencent
โญ 1,546 C++ ๐Ÿ‘ค Tencent Organization ๐Ÿ• Aggiornato 2025-07-18 ๐Ÿ“… Creato 2020-04-20
โญ 1,503 Python ๐Ÿ‘ค Stability-AI Organization ๐Ÿ• Aggiornato 2025-01-08 ๐Ÿ“… Creato 2024-10-09
83
sybil-solutions/inference-optimisation-skill

Competenza dellโ€™agente per ottimizzare progressivamente la velocitร  di servizio degli LLM locali (decodifica, decodifica speculativa, prefill, KV, avvio, TTFT) su qualsiasi hardware e con qualsiasi quantizzazione

sybil-solutions
โญ 1,425 Python ๐Ÿ‘ค sybil-solutions Organization ๐Ÿ• Aggiornato 2026-11-16 ๐Ÿ“… Creato 2026-11-16
84
alibaba/rtp-llm

RTP-LLM: Il motore di inferenza LLM ad alte prestazioni di Alibaba per diverse applicazioni.

alibaba
โญ 1,402 Python ๐Ÿ‘ค alibaba Organization ๐Ÿ• Aggiornato 2026-11-21 ๐Ÿ“… Creato 2023-12-27
85
ebhy/budgetml

Distribuisci un servizio di inferenza ML con un budget limitato in meno di 10 righe di codice.

ebhy
โญ 1,345 Python ๐Ÿ‘ค ebhy Organization ๐Ÿ• Aggiornato 2024-02-12 ๐Ÿ“… Creato 2020-12-27
86
StarlightSearch/EmbedAnything

Inferenza, ingestione e indicizzazione altamente performanti, modulari, sicure dal punto di vista della memoria e pronte per la produzione, realizzate in Rust ๐Ÿฆ€

StarlightSearch
โญ 1,334 Rust ๐Ÿ‘ค StarlightSearch Organization ๐Ÿ• Aggiornato 2026-11-18 ๐Ÿ“… Creato 2024-03-31
87
qualcomm/ai-hub-models

Qualcommยฎ AI Hub Models รจ la nostra collezione di modelli di machine learning all'avanguardia, ottimizzati per le prestazioni (latenza, memoria, ecc.) e pronti per essere distribuiti sui dispositivi Qualcommยฎ.

qualcomm
โญ 1,269 Python ๐Ÿ‘ค qualcomm Organization ๐Ÿ• Aggiornato 2026-11-21 ๐Ÿ“… Creato 2023-12-20
88
NVIDIA/kvpress

Compressione della cache KV LLM resa semplice

NVIDIA
โญ 1,258 Python ๐Ÿ‘ค NVIDIA Organization ๐Ÿ• Aggiornato 2026-11-16 ๐Ÿ“… Creato 2024-11-06
89
FenTechSolutions/CausalDiscoveryToolbox

Pacchetto per l'inferenza causale in grafi e nelle impostazioni pairwise. Sono inclusi strumenti per il recupero della struttura del grafo e delle dipendenze.

FenTechSolutions
โญ 1,242 Python ๐Ÿ‘ค FenTechSolutions Organization ๐Ÿ• Aggiornato 2025-10-13 ๐Ÿ“… Creato 2017-05-31
90
run-house/kubetorch

Distribuisci ed esegui carichi di lavoro AI su Kubernetes magicamente in Python, come PyTorch per l'infrastruttura ML.

run-house
โญ 1,228 Python ๐Ÿ‘ค run-house Organization ๐Ÿ• Aggiornato 2026-05-29 ๐Ÿ“… Creato 2022-05-10
91
google/agentmesh

Mesh di agenti

google
โญ 1,208 Go ๐Ÿ‘ค google Organization ๐Ÿ• Aggiornato 2026-11-21 ๐Ÿ“… Creato 2026-04-21
92
jmaczan/tiny-vllm

Costruisci il tuo motore di inferenza LLM ad alte prestazioni in C++ e CUDA - una versione piรน piccola di vLLM

jmaczan
โญ 1,207 C++ ๐Ÿ‘ค jmaczan User ๐Ÿ• Aggiornato 2026-11-15 ๐Ÿ“… Creato 2026-02-09
93
chrishayuk/larql

Esegui, servi, interroga e modifica modelli di IA: un runtime per modelli in Rust basato su VINDEX3, un formato di modello eseguibile e ispezionabile.

chrishayuk
โญ 1,196 Rust ๐Ÿ‘ค chrishayuk User ๐Ÿ• Aggiornato 2026-11-21 ๐Ÿ“… Creato 2026-03-27
94
usamahz/cpu-performance-engineering

Un percorso di lettura sullโ€™ingegneria delle prestazioni delle CPU, da una singola istruzione fino allโ€™inferenza in produzione. Solo fonti primarie, con un benchmark eseguibile per ogni sezione.

usamahz
โญ 1,160 Python ๐Ÿ‘ค usamahz User ๐Ÿ• Aggiornato 2026-10-08 ๐Ÿ“… Creato 2026-09-17
95
receptron/laya

Esegui Laya, il modello decisionale System-1 open source compatibile con Jev, da Node.js / TypeScript tramite ONNX Runtime

receptron
โญ 1,092 TypeScript ๐Ÿ‘ค receptron Organization ๐Ÿ• Aggiornato 2026-10-17 ๐Ÿ“… Creato 2026-09-19
96
Helldez/BigMoeOnEdge

Esegui modelli MoE piรน grandi della tua RAM. MoE di frontiera su smartphone, laptop o dispositivo edge. Senza perdita, con llama.cpp standard. Un ottimizzatore adattivo in streaming. Qualsiasi hardware, sistema operativo, modello e quantizzazione, tramite un server locale compatibile con OpenAI.

Helldez
โญ 1,066 C++ ๐Ÿ‘ค Helldez User ๐Ÿ• Aggiornato 2026-11-21 ๐Ÿ“… Creato 2026-07-10
97
jjang-ai/mlxstudio

MLX Studio: il modo piรน semplice per eseguire LLM sul tuo Mac. Un motore tutto-in-uno.

jjang-ai
โญ 992 ๐Ÿ‘ค jjang-ai User ๐Ÿ• Aggiornato 2026-11-07 ๐Ÿ“… Creato 2026-03-05
98
efeslab/Nanoflow

Un framework di serving ad alte prestazioni orientato al throughput per LLM

efeslab
โญ 978 Jupyter Notebook ๐Ÿ‘ค efeslab Organization ๐Ÿ• Aggiornato 2026-03-29 ๐Ÿ“… Creato 2024-08-19
99
openvinotoolkit/model_server

Un server di inferenza scalabile per modelli ottimizzati con OpenVINOโ„ข

openvinotoolkit
โญ 961 C++ ๐Ÿ‘ค openvinotoolkit Organization ๐Ÿ• Aggiornato 2026-11-21 ๐Ÿ“… Creato 2018-09-26
100
huawei-noah/bolt

Bolt รจ una libreria di deep learning con alte prestazioni e flessibilitร  eterogenea.

huawei-noah
โญ 958 C++ ๐Ÿ‘ค huawei-noah Organization ๐Ÿ• Aggiornato 2025-04-11 ๐Ÿ“… Creato 2019-12-02