#vllm Repository
Scopri 133 repository GitHub open source attivi contrassegnati con #vllm, che raccolgono un totale di 554,542 stelle (con una media di 4,169 stelle per progetto). Il progetto leader di questo argomento è earendil-works/pi, con 123,140 stelle.
134 repository in totale
Toolkit per agenti IA: API LLM unificata, ciclo dell'agente, TUI, CLI per agenti di programmazione
OCR, analisi del layout, ordine di lettura, riconoscimento tabelle in oltre 90 lingue
Kit di strumenti di riconoscimento vocale open source per training, inferenza, ASR in streaming, VAD, punteggiatura, pipeline di diarizzazione dei parlanti e servizio compatibile con OpenAI/MCP.
Benvenuti nel Llama Cookbook! Questa è la vostra guida di riferimento per la creazione con Llama: Introduzione all'inferenza, al fine-tuning e al RAG. Vi mostriamo anche come risolvere problemi end-to-end utilizzando la famiglia di modelli Llama e utilizzandoli su vari servizi provider.
Soluzione Android in Docker con supporto per noVNC, registrazione video, server MCP e agente IA
Libreria open-source completa di competenze di ricerca e ingegneria AI per qualsiasi modello AI. Impacchetta queste competenze e il tuo agente claude code/codex/gemini sarà un agente di ricerca AI a piena potenza. Mantenuto da Orchestra Research.
✍🏻 Analisi approfondite del codice sorgente, progettazione di sistemi e blog di ingegneria | Halfrost-Field: Note di analisi del codice sorgente, progettazione di sistemi e pratica ingegneristica
Modello OCR che gestisce tabelle complesse, moduli e scrittura a mano con layout completo.
Un framework RL agentico facile da usare, scalabile e ad alte prestazioni basato su Ray (PPO & DAPO & REINFORCE++ & VLM & TIS & vLLM & Ray & Async RL)
Piattaforma open source per l’inferenza di modelli linguistici, visivi, di embedding, reranking, immagini, audio e video. Distribuisci più motori su hardware eterogeneo, da un laptop a un cluster distribuito. Fornisci modelli tramite API compatibili con OpenAI.
Mooncake è la piattaforma di serving per Kimi, un servizio LLM leader fornito da Moonshot AI.
Un livello decisionale aperto e programmabile per modelli e calcolo.
Piattaforma di inferenza AI generativa e predittiva distribuita standardizzata per deployment scalabile e multi-framework su Kubernetes
Un gestore di cluster GPU per il serving di modelli AI ad alte prestazioni (vLLM, SGLang) e istanze GPU on-demand accessibili via SSH.
Impara i sistemi di inferenza degli LLM su Apple Silicon per ingegneri di sistema: costruisci un piccolo vLLM + Qwen
Search-R1: Un framework di training RL efficiente e scalabile per il ragionamento e la chiamata di motori di ricerca basato su LLM intercalati con veRL
📚Un elenco curato di Awesome LLM/VLM Inference Papers con codici: Flash-Attention, Paged-Attention, WINT8/4, Parallelism, ecc.🎉
Estrazione di dati strutturati, chiamata di istruzioni e flussi di lavoro agentici con ML, LLM e Vision LLM
Condivisione di conoscenze AI Infra e pratica di codice: PyTorch, vLLM/SGLang, introduzione al framework slime/vime ⚡️, accelerazione delle prestazioni 🚀, basi dei modelli grandi 🧠, software e hardware AI 🔧, ecc.
[NeurIPS'24] HippoRAG è un nuovo framework RAG ispirato alla memoria a lungo termine umana che consente agli LLM di integrare continuamente la conoscenza attraverso documenti esterni. RAG + Knowledge Graph + Personalized PageRank.
Runtime a cascata per agenti AI. Ottimizza costi, latenza, qualità e decisioni di policy all'interno del ciclo dell'agente.
Toolkit ad alte prestazioni per inferenza e deployment di LLM e VLM basato su PaddlePaddle
Fondamenti di IA - architettura GPU, programmazione CUDA, basi dei grandi modelli e conoscenze relative agli agenti IA.
RamaLama è uno strumento di sviluppo open-source che semplifica la distribuzione locale di modelli AI da qualsiasi origine e ne facilita l'utilizzo per l'inferenza in produzione, il tutto attraverso il familiare linguaggio dei container.
Esegui rapidamente modelli Qwen di grandi dimensioni sulle GPU che possiedi davvero. Qwen3.8-27B su una singola scheda da 24 GB con vLLM: 127 tok/s per un singolo utente (381 quando la risposta cita il prompt), circa 1.035 tok/s con 64 richieste simultanee e un contesto di 150k–262k. Patch per vLLM, pipeline di requantizzazione e benchmark.
Il sistema di riferimento di vLLM per il deployment su scala cluster nativo K8S con ottimizzazione delle prestazioni guidata dalla community
CodeGeeX4-ALL-9B, un modello versatile per tutti gli scenari di sviluppo di software AI, tra cui completamento del codice, interprete di codice, ricerca web, chiamata di funzioni, domande e risposte a livello di repository e molto altro.
Codice, laboratori e risorse per O'Reilly AI Systems Performance Engineering: ottimizzazione GPU, addestramento distribuito, scalabilità dell'inferenza e ottimizzazione full-stack.
Cache KV elastica virtualizzata per la condivisione dinamica della GPU e oltre
Imporre il formato di output (JSON Schema, Regex, ecc.) di un modello linguistico
Domande frequenti
Qual è il repository #vllm più popolare su GitHub?
Il progetto open source #vllm più alto in classifica su GitHub è earendil-works/pi, con 123,140 stelle. Toolkit per agenti IA: API LLM unificata, ciclo dell'agente, TUI, CLI per agenti di programmazione
Quali linguaggi di programmazione sono più utilizzati nei repository #vllm?
Tra i progetti #vllm più alti in classifica su GitHub, i linguaggi di programmazione più comuni sono Python, Jupyter Notebook, Go, TypeScript.
Come viene calcolata la classifica dei repository #vllm?
Monitoriamo 133 repository open source attivi contrassegnati con #vllm (500+ stelle), per un totale di 554,542 stelle e una media di 4,169 stelle per repository. Le classifiche vengono aggiornate quotidianamente tramite l’API di GitHub.