#inference-engine Repository
Scopri 40 repository GitHub open source attivi contrassegnati con #inference-engine, che raccolgono un totale di 102,063 stelle (con una media di 2,551 stelle per progetto). Il progetto leader di questo argomento è huggingface/candle, con 21,367 stelle.
40 repository in totale
✍🏻 Analisi approfondite del codice sorgente, progettazione di sistemi e blog di ingegneria | Halfrost-Field: Note di analisi del codice sorgente, progettazione di sistemi e pratica ingegneristica
Un modello Kimi K3 da 2,78 trilioni di parametri che esegue l'inferenza su una singola CPU con 8,24 GB di RAM. C99 portatile: niente BLAS, niente framework, niente GPU.
FEDML – La libreria ML unificata e scalabile per l'addestramento distribuito su larga scala, il model serving e l'apprendimento federato. FEDML Launch, uno scheduler cross-cloud, consente inoltre di eseguire qualsiasi lavoro di intelligenza artificiale su qualsiasi cloud GPU o cluster on-premise. Basata su questa libreria, TensorOpera AI (https://TensorOpera.ai) è la tua piattaforma di intelligenza artificiale generativa su larga scala.
Ottimo progetto per neolaureati, autunnali, primaverili e stage! Ti guideremo passo dopo passo nell'implementazione di una libreria di inferenza deep learning ad alte prestazioni, supportando l'inferenza di modelli di grandi dimensioni come llama2, Unet, YoloV5, Resnet, ecc. Implementa passo dopo passo una libreria di inferenza deep learning ad alte prestazioni.
xDiT: Un motore di inferenza scalabile per Diffusion Transformers (DiT) con parallelismo massiccio
Il modo più veloce per eseguire Qwen 3.8 Flash Next, Qwen 3.8 27B e Ternary Bonsai 2 27B su un Mac: 125 token/s in OpenCode su un M5 Max e un modello 27B sui Mac con 16 GB. Decodifica speculativa MTP nativa su Apple Silicon, accurata a qualsiasi temperatura. Server locale compatibile con OpenAI e Anthropic.
Corso ufficiale SGLang x Datawhale sull’inferenza degli LLM: comprendi l’inferenza, costruisci un mini-SGLang da zero, poi leggi il vero codice sorgente di SGLang e invia la tua prima PR. Disponibile in inglese e cinese.
Cache KV elastica virtualizzata per la condivisione dinamica della GPU e oltre
OneDiff: Una libreria di accelerazione pronta all'uso per modelli di diffusione.
NobodyWho è un motore di inferenza che ti consente di eseguire LLM localmente ed efficientemente su qualsiasi dispositivo.
Un motore di inferenza ad alte prestazioni per modelli LLM, VLM e DiT, ottimizzato per diversi acceleratori di IA. È ospitato dalla OpenAtom Foundation.
Inferenza locale con un comportamento simile a quello di un’API all’avanguardia: Qwen3.8-Flash-Next su AMD Strix Halo, insieme a piccoli modelli NPU, tramite le API di OpenAI e Anthropic su un’unica porta.
Esegui modelli di IA di grandi dimensioni sul tuo PC: Qwen3.8-Flash-Next con il motore di Strata e GLM 5.3 Flash, DeepSeek V4 Flash, LFM2.5, Qwen3.6, Ornith 1.5, Gemma 4, Tiel Coder e MiniCPM-V con un secondo motore progettato per PolyStrata. Installazione con un clic per Windows e Linux, con API OpenAI/Anthropic su localhost.
Qualcomm® AI Hub Models è la nostra collezione di modelli di machine learning all'avanguardia, ottimizzati per le prestazioni (latenza, memoria, ecc.) e pronti per essere distribuiti sui dispositivi Qualcomm®.
Implementazione ufficiale di Gamer: un modello di base generalista visione-linguaggio-azione per agenti di gioco in tempo reale con orizzonti temporali lunghi
Paddle.js è un progetto web per Baidu PaddlePaddle, un framework di deep learning open source che funziona nel browser. Paddle.js può caricare un modello pre-addestrato o trasformare un modello da paddle-hub con strumenti di trasformazione del modello forniti da Paddle.js. Può essere eseguito in ogni browser con supporto WebGL/WebGPU/WebAssembly. Può anche essere eseguito in Baidu Smartprogram e WX miniprogram.
Esegui Kimi K3 localmente su CPU con circa 55 GB di RAM di runtime misurata. Un server di inferenza Linux a file singolo basato su cPilot Runtime.
MLX Studio: il modo più semplice per eseguire LLM sul tuo Mac. Un motore tutto-in-uno.
Un motore di accelerazione per l'inferenza LLM altamente ottimizzato per Llama e le sue varianti.
Framework di visione artificiale e videoanalisi Python con batterie incluse
[MLSys'25] QServe: Quantizzazione W4A8KV4 e co-progettazione del sistema per un serving efficiente di LLM; [MLSys'25] LServe: Serving efficiente di LLM per sequenze lunghe con attenzione sparsa unificata
Motore di inferenza LLM puro Rust + CUDA — nessun PyTorch, compatibile con OpenAI, serve da Qwen3 a Kimi-K2
Decodifica LLM fino a 4× più veloce su Apple Silicon, senza perdita. Port nativo per MLX della decodifica speculativa DSpark di DeepSeek e DFlash di z-lab — Gemma-4, Qwen3.8, Muse-Glimmer, Nemotron, LFM2.5, Ornith-1.0 e Bonsai-27B ternario.
37 tok/s con Qwen3-Next-80B (48 GB) su un laptop da 32 GB; 24 senza draft contro 2,8 con llama.cpp; lettura a 62 contro 16 tok/s. Più veloce di llama.cpp in tutti i 13 modelli confrontati in Q4_K_M. LLM più grandi della tua RAM, in puro C, per CPU o GPU.
Un motore nativo di inferenza per modelli linguistici di grandi dimensioni (LLM) .NET e un runtime per agenti per modelli GGUF. TensorSharp offre un’applicazione da console, un’interfaccia chatbot basata sul Web, un’app per iPhone e API HTTP compatibili con Ollama/OpenAI per l’accesso programmatico. Supporta Windows, macOS, iOS e Linux con pieno supporto GPU.
Esegui un modello IA da 105 GB su un Mac che non può contenerlo. Qwen3.8-Flash-Next a 4 bit, trasmesso in streaming da SSD sui Mac Apple Silicon con 16–64 GB di memoria. Completamente nativo in Swift, MLX e Metal. Offline, senza Python. CLI, libreria Swift e API Ollama/OpenAI/Anthropic. Compatibile con Claude Code e Codex.
Un altro modello linguistico: inferenza LLM in C++/CUDA, nessuna libreria tranne I/O
Una rappresentazione base comune del codice sorgente Python per pylint e altri progetti
Reclutamento scolastico, autunnale, primaverile, ottimi progetti di stage, ti guida a realizzare da zero un framework di inferenza per grandi modelli che supporta Llama2/3 e Qwen2.5.
Inferenza rapida e precisa per i modelli StartLux-Decision su GPU NVIDIA: i file GGUF rilasciati vengono eseguiti su tensor core int8 e a 4 bit tramite l’API /v1/systemone, con una latenza fino a 5,3 volte inferiore rispetto a vLLM in FP8 e risposte identiche bit per bit.
Da insegnante a tessere — un motore di distillazione e servizio LLM costruito da zero: kernel Triton/CUDA personalizzati, distillazione FSDP, elaborazione batch continua con KV paginato, decodifica speculativa, un gateway Rust, un oracolo JAX e strumenti di interpretabilità.
Motore di inferenza per dispositivi Intel. Offri modelli LLM, VLM, Whisper, Kokoro-TTS, Embedding e Rerank tramite endpoint OpenAI.
Esegui più agenti IA contemporaneamente sul tuo Mac, fino a 3 volte più velocemente.
Krasis è un runtime LLM ibrido che si concentra sull'esecuzione efficiente di modelli più grandi su hardware consumer con VRAM limitata
Domande frequenti
Qual è il repository #inference-engine più popolare su GitHub?
Il progetto open source #inference-engine più alto in classifica su GitHub è huggingface/candle, con 21,367 stelle. Framework ML minimalista per Rust
Quali linguaggi di programmazione sono più utilizzati nei repository #inference-engine?
Tra i progetti #inference-engine più alti in classifica su GitHub, i linguaggi di programmazione più comuni sono Python, C++, Rust, Go.
Come viene calcolata la classifica dei repository #inference-engine?
Monitoriamo 40 repository open source attivi contrassegnati con #inference-engine (500+ stelle), per un totale di 102,063 stelle e una media di 2,551 stelle per repository. Le classifiche vengono aggiornate quotidianamente tramite l’API di GitHub.