Git Stars Git Stars

#inference-engine Repository

Scopri 40 repository GitHub open source attivi contrassegnati con #inference-engine, che raccolgono un totale di 102,063 stelle (con una media di 2,551 stelle per progetto). Il progetto leader di questo argomento è huggingface/candle, con 21,367 stelle.

40
Totale Repository
102,063
Totale stelle
2,551
Media Stelle/Repo

40 repository in totale

1
huggingface/candle

Framework ML minimalista per Rust

huggingface
⭐ 21,367 Rust 👤 huggingface Organization 🕐 Aggiornato 2026-11-19 📅 Creato 2023-06-19
2
halfrost/Halfrost-Field

✍🏻 Analisi approfondite del codice sorgente, progettazione di sistemi e blog di ingegneria | Halfrost-Field: Note di analisi del codice sorgente, progettazione di sistemi e pratica ingegneristica

halfrost
⭐ 13,259 Go 👤 halfrost User 🕐 Aggiornato 2026-11-10 📅 Creato 2017-04-02
3
FareedKhan-dev/kimi-k3-in-c

Un modello Kimi K3 da 2,78 trilioni di parametri che esegue l'inferenza su una singola CPU con 8,24 GB di RAM. C99 portatile: niente BLAS, niente framework, niente GPU.

FareedKhan-dev
⭐ 12,523 C 👤 FareedKhan-dev User 🕐 Aggiornato 2026-11-16 📅 Creato 2026-08-01
4
bbycroft/llm-viz

Visualizzazione 3D di un LLM in stile GPT

bbycroft
⭐ 5,599 TypeScript 👤 bbycroft User 🕐 Aggiornato 2026-08-10 📅 Creato 2023-03-01
5
FedML-AI/FedML

FEDML – La libreria ML unificata e scalabile per l'addestramento distribuito su larga scala, il model serving e l'apprendimento federato. FEDML Launch, uno scheduler cross-cloud, consente inoltre di eseguire qualsiasi lavoro di intelligenza artificiale su qualsiasi cloud GPU o cluster on-premise. Basata su questa libreria, TensorOpera AI (https://TensorOpera.ai) è la tua piattaforma di intelligenza artificiale generativa su larga scala.

FedML-AI
⭐ 4,068 Python 👤 FedML-AI Organization 🕐 Aggiornato 2026-11-12 📅 Creato 2020-07-21
6
zjhellofss/KuiperInfer

Ottimo progetto per neolaureati, autunnali, primaverili e stage! Ti guideremo passo dopo passo nell'implementazione di una libreria di inferenza deep learning ad alte prestazioni, supportando l'inferenza di modelli di grandi dimensioni come llama2, Unet, YoloV5, Resnet, ecc. Implementa passo dopo passo una libreria di inferenza deep learning ad alte prestazioni.

zjhellofss
⭐ 3,444 C++ 👤 zjhellofss User 🕐 Aggiornato 2025-06-22 📅 Creato 2022-11-21
7
Luce-Org/lucebox

Motore di inferenza Lucebox per hardware eterogeneo e GPU consumer

Luce-Org
⭐ 3,024 C++ 👤 Luce-Org Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2026-04-03
8
xdit-project/xDiT

xDiT: Un motore di inferenza scalabile per Diffusion Transformers (DiT) con parallelismo massiccio

xdit-project
⭐ 2,755 Python 👤 xdit-project Organization 🕐 Aggiornato 2026-11-20 📅 Creato 2024-03-19
9
youssofal/MTPLX

Il modo più veloce per eseguire Qwen 3.8 Flash Next, Qwen 3.8 27B e Ternary Bonsai 2 27B su un Mac: 125 token/s in OpenCode su un M5 Max e un modello 27B sui Mac con 16 GB. Decodifica speculativa MTP nativa su Apple Silicon, accurata a qualsiasi temperatura. Server locale compatibile con OpenAI e Anthropic.

youssofal
⭐ 2,729 Python 👤 youssofal User 🕐 Aggiornato 2026-11-21 📅 Creato 2026-05-02
10
hyperjumptech/grule-rule-engine

Implementazione di un motore di regole in Golang

hyperjumptech
⭐ 2,539 Go 👤 hyperjumptech Organization 🕐 Aggiornato 2026-02-10 📅 Creato 2019-12-13
11
datawhalechina/zero-to-sglang

Corso ufficiale SGLang x Datawhale sull’inferenza degli LLM: comprendi l’inferenza, costruisci un mini-SGLang da zero, poi leggi il vero codice sorgente di SGLang e invia la tua prima PR. Disponibile in inglese e cinese.

datawhalechina
⭐ 2,306 Python 👤 datawhalechina Organization 🕐 Aggiornato 2026-11-17 📅 Creato 2026-08-27
12
ovg-project/kvcached

Cache KV elastica virtualizzata per la condivisione dinamica della GPU e oltre

ovg-project
⭐ 2,051 Python 👤 ovg-project Organization 🕐 Aggiornato 2026-11-20 📅 Creato 2025-05-27
13
siliconflow/onediff

OneDiff: Una libreria di accelerazione pronta all'uso per modelli di diffusione.

siliconflow
⭐ 1,961 Jupyter Notebook 👤 siliconflow Organization 🕐 Aggiornato 2025-12-04 📅 Creato 2022-09-21
14
dphnAI/sonar

Motore di inferenza LLM su larga scala

dphnAI
⭐ 1,911 Python 👤 dphnAI Organization 🕐 Aggiornato 2026-11-17 📅 Creato 2023-06-23
15
nobodywho-ooo/nobodywho

NobodyWho è un motore di inferenza che ti consente di eseguire LLM localmente ed efficientemente su qualsiasi dispositivo.

nobodywho-ooo
⭐ 1,699 Rust 👤 nobodywho-ooo Organization 🕐 Aggiornato 2026-11-19 📅 Creato 2024-09-03
16
xLLM-AI/xllm

Un motore di inferenza ad alte prestazioni per modelli LLM, VLM e DiT, ottimizzato per diversi acceleratori di IA. È ospitato dalla OpenAtom Foundation.

xLLM-AI
⭐ 1,626 C++ 👤 xLLM-AI Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2025-08-12
17
peonist-ai/halogen-flash-server

Inferenza locale con un comportamento simile a quello di un’API all’avanguardia: Qwen3.8-Flash-Next su AMD Strix Halo, insieme a piccoli modelli NPU, tramite le API di OpenAI e Anthropic su un’unica porta.

peonist-ai
⭐ 1,412 Shell 👤 peonist-ai Organization 🕐 Aggiornato 2026-11-18 📅 Creato 2026-08-26
18
simplexai-labs/PolyStrata

Esegui modelli di IA di grandi dimensioni sul tuo PC: Qwen3.8-Flash-Next con il motore di Strata e GLM 5.3 Flash, DeepSeek V4 Flash, LFM2.5, Qwen3.6, Ornith 1.5, Gemma 4, Tiel Coder e MiniCPM-V con un secondo motore progettato per PolyStrata. Installazione con un clic per Windows e Linux, con API OpenAI/Anthropic su localhost.

simplexai-labs
⭐ 1,324 C++ 👤 simplexai-labs Organization 🕐 Aggiornato 2026-11-18 📅 Creato 2026-10-06
19
qualcomm/ai-hub-models

Qualcomm® AI Hub Models è la nostra collezione di modelli di machine learning all'avanguardia, ottimizzati per le prestazioni (latenza, memoria, ecc.) e pronti per essere distribuiti sui dispositivi Qualcomm®.

qualcomm
⭐ 1,269 Python 👤 qualcomm Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2023-12-20
20
RainBowLuoCS/Gamer

Implementazione ufficiale di Gamer: un modello di base generalista visione-linguaggio-azione per agenti di gioco in tempo reale con orizzonti temporali lunghi

RainBowLuoCS
⭐ 1,179 👤 RainBowLuoCS User 🕐 Aggiornato 2026-11-16 📅 Creato 2026-10-30
21
PaddlePaddle/Paddle.js

Paddle.js è un progetto web per Baidu PaddlePaddle, un framework di deep learning open source che funziona nel browser. Paddle.js può caricare un modello pre-addestrato o trasformare un modello da paddle-hub con strumenti di trasformazione del modello forniti da Paddle.js. Può essere eseguito in ogni browser con supporto WebGL/WebGPU/WebAssembly. Può anche essere eseguito in Baidu Smartprogram e WX miniprogram.

PaddlePaddle
⭐ 1,071 JavaScript 👤 PaddlePaddle Organization 🕐 Aggiornato 2024-04-03 📅 Creato 2020-03-26
22
wangeai/K3Flight

Esegui Kimi K3 localmente su CPU con circa 55 GB di RAM di runtime misurata. Un server di inferenza Linux a file singolo basato su cPilot Runtime.

wangeai
⭐ 1,019 HTML 👤 wangeai Organization 🕐 Aggiornato 2026-07-31 📅 Creato 2026-07-30
23
jjang-ai/mlxstudio

MLX Studio: il modo più semplice per eseguire LLM sul tuo Mac. Un motore tutto-in-uno.

jjang-ai
⭐ 992 👤 jjang-ai User 🕐 Aggiornato 2026-11-07 📅 Creato 2026-03-05
24
zhihu/ZhiLight

Un motore di accelerazione per l'inferenza LLM altamente ottimizzato per Llama e le sue varianti.

zhihu
⭐ 906 C++ 👤 zhihu Organization 🕐 Aggiornato 2026-03-18 📅 Creato 2024-12-06
25
insight-platform/Savant

Framework di visione artificiale e videoanalisi Python con batterie incluse

insight-platform
⭐ 868 Python 👤 insight-platform Organization 🕐 Aggiornato 2026-09-23 📅 Creato 2022-05-07
26
mit-han-lab/omniserve

[MLSys'25] QServe: Quantizzazione W4A8KV4 e co-progettazione del sistema per un serving efficiente di LLM; [MLSys'25] LServe: Serving efficiente di LLM per sequenze lunghe con attenzione sparsa unificata

mit-han-lab
⭐ 840 C++ 👤 mit-han-lab Organization 🕐 Aggiornato 2025-03-06 📅 Creato 2024-05-06
27
pegainfer-project/pegainfer

Motore di inferenza LLM puro Rust + CUDA — nessun PyTorch, compatibile con OpenAI, serve da Qwen3 a Kimi-K2

pegainfer-project
⭐ 748 Rust 👤 pegainfer-project Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2026-02-17
28
ARahim3/mlx-dspark

Decodifica LLM fino a 4× più veloce su Apple Silicon, senza perdita. Port nativo per MLX della decodifica speculativa DSpark di DeepSeek e DFlash di z-lab — Gemma-4, Qwen3.8, Muse-Glimmer, Nemotron, LFM2.5, Ornith-1.0 e Bonsai-27B ternario.

ARahim3
⭐ 743 Python 👤 ARahim3 User 🕐 Aggiornato 2026-11-08 📅 Creato 2026-06-29
29
prabanta-dev/janas

37 tok/s con Qwen3-Next-80B (48 GB) su un laptop da 32 GB; 24 senza draft contro 2,8 con llama.cpp; lettura a 62 contro 16 tok/s. Più veloce di llama.cpp in tutti i 13 modelli confrontati in Q4_K_M. LLM più grandi della tua RAM, in puro C, per CPU o GPU.

prabanta-dev
⭐ 738 C 👤 prabanta-dev Organization 🕐 Aggiornato 2026-11-20 📅 Creato 2026-09-20
30
zhongkaifu/TensorSharp

Un motore nativo di inferenza per modelli linguistici di grandi dimensioni (LLM) .NET e un runtime per agenti per modelli GGUF. TensorSharp offre un’applicazione da console, un’interfaccia chatbot basata sul Web, un’app per iPhone e API HTTP compatibili con Ollama/OpenAI per l’accesso programmatico. Supporta Windows, macOS, iOS e Linux con pieno supporto GPU.

zhongkaifu
⭐ 681 C# 👤 zhongkaifu User 🕐 Aggiornato 2026-11-20 📅 Creato 2026-04-03
31
carloslfu/slotstream

Esegui un modello IA da 105 GB su un Mac che non può contenerlo. Qwen3.8-Flash-Next a 4 bit, trasmesso in streaming da SSD sui Mac Apple Silicon con 16–64 GB di memoria. Completamente nativo in Swift, MLX e Metal. Offline, senza Python. CLI, libreria Swift e API Ollama/OpenAI/Anthropic. Compatibile con Claude Code e Codex.

carloslfu
⭐ 674 Swift 👤 carloslfu User 🕐 Aggiornato 2026-11-17 📅 Creato 2026-08-28
32
andrewkchan/yalm

Un altro modello linguistico: inferenza LLM in C++/CUDA, nessuna libreria tranne I/O

andrewkchan
⭐ 597 C++ 👤 andrewkchan User 🕐 Aggiornato 2025-09-13 📅 Creato 2024-10-02
33
pylint-dev/astroid

Una rappresentazione base comune del codice sorgente Python per pylint e altri progetti

pylint-dev
⭐ 589 Python 👤 pylint-dev Organization 🕐 Aggiornato 2026-11-20 📅 Creato 2015-12-08
34
zjhellofss/KuiperLLama

Reclutamento scolastico, autunnale, primaverile, ottimi progetti di stage, ti guida a realizzare da zero un framework di inferenza per grandi modelli che supporta Llama2/3 e Qwen2.5.

zjhellofss
⭐ 581 C++ 👤 zjhellofss User 🕐 Aggiornato 2025-10-28 📅 Creato 2024-04-25
35
StartLuxLabs/StartLux-Prism

Inferenza rapida e precisa per i modelli StartLux-Decision su GPU NVIDIA: i file GGUF rilasciati vengono eseguiti su tensor core int8 e a 4 bit tramite l’API /v1/systemone, con una latenza fino a 5,3 volte inferiore rispetto a vLLM in FP8 e risposte identiche bit per bit.

StartLuxLabs
⭐ 560 Python 👤 StartLuxLabs Organization 🕐 Aggiornato 2026-10-27 📅 Creato 2026-10-13
36
zengxiao-he/tessera

Da insegnante a tessere — un motore di distillazione e servizio LLM costruito da zero: kernel Triton/CUDA personalizzati, distillazione FSDP, elaborazione batch continua con KV paginato, decodifica speculativa, un gateway Rust, un oracolo JAX e strumenti di interpretabilità.

zengxiao-he
⭐ 556 Python 👤 zengxiao-he User 🕐 Aggiornato 2026-10-09 📅 Creato 2026-06-05
37
SearchSavior/OpenArc

Motore di inferenza per dispositivi Intel. Offri modelli LLM, VLM, Whisper, Kokoro-TTS, Embedding e Rerank tramite endpoint OpenAI.

SearchSavior
⭐ 551 Python 👤 SearchSavior User 🕐 Aggiornato 2026-11-21 📅 Creato 2025-02-11
38
OmniJev/Flide

🔥🔥 Il motore di inferenza estremamente veloce per i modelli decisionali

OmniJev
⭐ 550 Python 👤 OmniJev Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2026-10-24
39
Generated-Computers/Locals

Esegui più agenti IA contemporaneamente sul tuo Mac, fino a 3 volte più velocemente.

Generated-Computers
⭐ 538 Python 👤 Generated-Computers Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2026-10-12
40
brontoguana/krasis

Krasis è un runtime LLM ibrido che si concentra sull'esecuzione efficiente di modelli più grandi su hardware consumer con VRAM limitata

brontoguana
⭐ 530 C++ 👤 brontoguana User 🕐 Aggiornato 2026-11-12 📅 Creato 2026-02-09

Domande frequenti

1

Qual è il repository #inference-engine più popolare su GitHub?

Il progetto open source #inference-engine più alto in classifica su GitHub è huggingface/candle, con 21,367 stelle. Framework ML minimalista per Rust

2

Quali linguaggi di programmazione sono più utilizzati nei repository #inference-engine?

Tra i progetti #inference-engine più alti in classifica su GitHub, i linguaggi di programmazione più comuni sono Python, C++, Rust, Go.

3

Come viene calcolata la classifica dei repository #inference-engine?

Monitoriamo 40 repository open source attivi contrassegnati con #inference-engine (500+ stelle), per un totale di 102,063 stelle e una media di 2,551 stelle per repository. Le classifiche vengono aggiornate quotidianamente tramite l’API di GitHub.