#vllm Repository
134 repository in totale
Valuta e migliora le tue distribuzioni LLM per esigenze di inferenza nel mondo reale
Modelli decisionali aperti da 0,8B a 27B: una probabilitร calibrata per ogni opzione in un solo passaggio e un breve ragionamento solo in caso di incertezza. Motore per vLLM, llama.cpp e MLX.
Efficienza della quantizzazione post-training, accuratezza della quantizzazione con addestramento consapevole
Server di inferenza LLM ad alte prestazioni compatibile con OpenAI e Anthropic per Apple Silicon. MLX nativo, batching continuo, modelli multimodali, chiamate di strumenti MCP e supporto per Claude Code.
Trasforma qualsiasi LLM in un modello decisionale in stile Jev: decisioni tipizzate, probabilitร reali, senza addestramento. (Aggiornamenti continui; sono benvenute segnalazioni di problemi e richieste di PR)
Configurazioni open source di computer per lโIA, dai desktop con 2 GPU ai server con 8 GPU: CAD, distinta base, BIOS e guide allโassemblaggio. Acquista il kit del case con riser PCIe oppure chiedici una verifica gratuita della compatibilitร .
Repo ufficiale per l'articolo "Scaling Synthetic Data Creation with 1,000,000,000 Personas"
Modelli di grandi dimensioni ispirati al cervello a spiking, che integrano un'attenzione ibrida efficiente, moduli MoE e codifica a spike nella loro architettura
Toolkit per la quantizzazione (compressione) di modelli LLM, con supporto allโaccelerazione hardware per Nvidia CUDA, AMD ROCm, Intel XPU, Tenstorrent, NPU Huawei Ascend e CPU Intel/AMD/Apple tramite HF, vLLM e SGLang.
AI Inference Operator per Kubernetes. Il modo piรน semplice per servire modelli ML in produzione. Supporta VLM, LLM, embedding e speech-to-text.
Una roadmap di 10 settimane, dedicando 30 minuti al giorno, per il serving e lโottimizzazione dellโinferenza degli LLM. vLLM, SGLang, quantizzazione, decodifica speculativa e benchmarking.
โ๏ธ Gateway API di livello enterprise che ti aiuta a monitorare e imporre limiti di costo o tariffa per chiave API. Ottieni controllo degli accessi granulare e monitoraggio per utente, applicazione o ambiente. Supporta OpenAI, Azure OpenAI, Anthropic, vLLM e LLM open-source.
Costruisci il tuo motore di inferenza LLM ad alte prestazioni in C++ e CUDA - una versione piรน piccola di vLLM
Kimi-VL: Modello Vision-Language Mixture-of-Experts per il Ragionamento Multimodale, la Comprensione del Lungo Contesto e Forti Capacitร di Agente
Un framework MemAgent estensibile a 3,5 milioni, insieme a un framework di addestramento per l'addestramento RL di qualsiasi flusso di lavoro dell'agente.
UniRL รจ un framework per l'apprendimento per rinforzo di modelli multimodali unificati
Un modello generalista trasparente verso una comprensione olistica visione-linguaggio in ambito medico
Un CLI per stimare i requisiti di memoria di inferenza per i modelli Hugging Face, scritto in Python.
Modelli aperti di decisione multimodale, da 0,8B a 27B, per testo, immagini e video. Decidi assegnando probabilitร ai tuoi candidati e individua gli elementi con riquadri di delimitazione, invece di generare testo. API gratuita, ONNX, GGUF, vLLM e SGLang; codice per il fine-tuning incluso.
Serie di modelli open Spark-x2.6. Spingere oltre i limiti delle capacitร agentiche dei modelli on-device
Note LLM, inclusi inferenza del modello, struttura del modello transformer e note sull'analisi del codice del framework LLM.
Un software OCR locale, offline (dopo la configurazione iniziale), portatile, in grado di elaborare immagini e file PDF, utilizzando DeepSeek-OCR-2 AI (eseguito direttamente sulla tua macchina).
Questo repository contiene tutorial ed esempi per Triton Inference Server
Halo รจ un framework open source sviluppato da White Circle per addestrare modelli linguistici di grandi dimensioni e modelli multimodali
Documentazione end-to-end per impostare il tuo server LLM locale e completamente privato su Debian. Dotato di chat, ricerca web, RAG, gestione dei modelli, server MCP, generazione di immagini e TTS.
Un ambiente di lavoro per lโanalisi dei dati basato sullโIA, progettato per garantire trasparenza, riproducibilitร e controllo da parte dellโutente. Esamina il codice e le prove alla base dei risultati, verifica i calcoli riproducendoli e scegli tra unโampia gamma di modelli, compresi modelli locali con pesi aperti.
Estendere OpenRLHF per supportare l'addestramento LMM RL per la riproduzione di DeepSeek-R1 su attivitร multimodali.
Un'infrastruttura end-to-end per l'addestramento e la valutazione di vari agenti LLM.
Tencent Hunyuan A13B (in breve Hunyuan-A13B), un LLM innovativo e open-source costruito su un'architettura MoE a grana fine.
Modelli open di livello frontier su una TPU v5e-8 gratuita di Kaggle: GLM-5.3-Flash 320B MoE (~165 token/s, con il nostro motore JAX) e Qwen3.8-27B bf16 (~130 token/s), contesto da 262k e caching dei prefissi. Funziona con Claude Code, Codex, opencode e pi.
Seed-Coder รจ una famiglia di LLM open-source leggeri per codice, comprendente modelli base, instruct e di ragionamento, sviluppati da ByteDance Seed.