#inference Repository
144 repository in totale
CubeStudio รจ una piattaforma open source cloud-native all-in-one per machine learning/deep learning/grandi modelli AI/MaaS/MLOps/piattaforma di intelligenza artificiale/piattaforma di training e inferenza, che copre l'intero pipeline dell'algoritmo, multi-tenancy, piattaforma di noleggio di potenza di calcolo, relay di token, orchestrazione di pipeline di flussi di lavoro tramite trascinamento, training distribuito multi-macchina multi-scheda, ricerca di iperparametri, servizi di inferenza, virtualizzazione VGPU, collaborazione cloud-edge-dispositivo, edge computing, piattaforma di annotazione automatizzata, fine-tuning SFT/modello di ricompensa/training di apprendimento per rinforzo per grandi modelli come DeepSeek, inferenza multi-macchina per grandi modelli con vLLM/Ollama/MindIE, agenti intelligenti LLMOps con knowledge base privata, mercato di modelli AI, supporto per la pianificazione di potenza di calcolo eterogenea nazionale (Ascend, Cambricon, Hygon, Moore Threads, Muxi, ecc.), supporto per IB/RoCE/RDMA e supporto Xinchuang.
Server nativo per lโinferenza di LLM su Apple Silicon. Compatibile con le API di OpenAI e Anthropic. Senza Python. App macOS con backend in Zig e frontend in Swift, per la generazione di chat, musica, voce e video.
Operatori di inferenza per reti neurali a virgola mobile ad alta efficienza per dispositivi mobili, server e Web
Trasforma qualsiasi computer o dispositivo edge in un centro di comando per i tuoi progetti di computer vision.
Gestisce l'accesso unificato ai servizi di IA generativa basati su Envoy Gateway
Un livello di orchestrazione unificato per il calcolo IA eterogeneo. Standardizza la gestione delle risorse di calcolo e lโesecuzione di addestramento e inferenza su cloud GPU, Kubernetes, macchine virtuali o cluster bare metal.
Esegui un LLM con 1โฏmiliardo di parametri su una scheda da $10 con 256โฏMB di RAM.
MII rende possibile un'inferenza a bassa latenza e ad alto throughput, alimentata da DeepSpeed.
Runtime ad alte prestazioni per lโerogazione di sistemi di superintelligenza interattivi
Modelli decisionali aperti da 0,8B a 27B: una probabilitร calibrata per ogni opzione in un solo passaggio e un breve ragionamento solo in caso di incertezza. Motore per vLLM, llama.cpp e MLX.
Instrada, gestisci e analizza le tue richieste LLM su piรน provider con un'unica interfaccia API unificata.
Server di inferenza CPU/GPU efficiente, scalabile e di livello enterprise per i modelli transformer di ๐ค Hugging Face ๐
Il motore di inferenza LLM open source per AWS Trainium: megakernel NKI, contesto da 1 milione di token e API compatibile con OpenAI. Di RunAnywhere.
Un motore di inferenza ad alte prestazioni per modelli LLM, VLM e DiT, ottimizzato per diversi acceleratori di IA. ร ospitato dalla OpenAtom Foundation.
DELTA รจ una piattaforma di elaborazione del linguaggio naturale e della voce basata sull'apprendimento profondo. LF AI & DATA Projects: https://lfaidata.foundation/projects/delta/
Exporter di GPU NVIDIA per Prometheus utilizzando il binario nvidia-smi OPPURE NVML
un runtime veloce e user-friendly per l'inferenza di transformer (Bert, Albert, GPT2, Decoders, ecc.) su CPU e GPU.
Competenza dellโagente per ottimizzare progressivamente la velocitร di servizio degli LLM locali (decodifica, decodifica speculativa, prefill, KV, avvio, TTFT) su qualsiasi hardware e con qualsiasi quantizzazione
RTP-LLM: Il motore di inferenza LLM ad alte prestazioni di Alibaba per diverse applicazioni.
Distribuisci un servizio di inferenza ML con un budget limitato in meno di 10 righe di codice.
Inferenza, ingestione e indicizzazione altamente performanti, modulari, sicure dal punto di vista della memoria e pronte per la produzione, realizzate in Rust ๐ฆ
Qualcommยฎ AI Hub Models รจ la nostra collezione di modelli di machine learning all'avanguardia, ottimizzati per le prestazioni (latenza, memoria, ecc.) e pronti per essere distribuiti sui dispositivi Qualcommยฎ.
Pacchetto per l'inferenza causale in grafi e nelle impostazioni pairwise. Sono inclusi strumenti per il recupero della struttura del grafo e delle dipendenze.
Distribuisci ed esegui carichi di lavoro AI su Kubernetes magicamente in Python, come PyTorch per l'infrastruttura ML.
Costruisci il tuo motore di inferenza LLM ad alte prestazioni in C++ e CUDA - una versione piรน piccola di vLLM
Esegui, servi, interroga e modifica modelli di IA: un runtime per modelli in Rust basato su VINDEX3, un formato di modello eseguibile e ispezionabile.
Un percorso di lettura sullโingegneria delle prestazioni delle CPU, da una singola istruzione fino allโinferenza in produzione. Solo fonti primarie, con un benchmark eseguibile per ogni sezione.
Esegui Laya, il modello decisionale System-1 open source compatibile con Jev, da Node.js / TypeScript tramite ONNX Runtime
Esegui modelli MoE piรน grandi della tua RAM. MoE di frontiera su smartphone, laptop o dispositivo edge. Senza perdita, con llama.cpp standard. Un ottimizzatore adattivo in streaming. Qualsiasi hardware, sistema operativo, modello e quantizzazione, tramite un server locale compatibile con OpenAI.
MLX Studio: il modo piรน semplice per eseguire LLM sul tuo Mac. Un motore tutto-in-uno.
Un server di inferenza scalabile per modelli ottimizzati con OpenVINOโข
Bolt รจ una libreria di deep learning con alte prestazioni e flessibilitร eterogenea.