#llm-serving Repository
Scopri 44 repository GitHub open source attivi contrassegnati con #llm-serving, che raccolgono un totale di 381,346 stelle (con una media di 8,666 stelle per progetto). Il progetto leader di questo argomento è vllm-project/vllm, con 97,302 stelle.
44 repository in totale
Un motore di inferenza e serving per LLM ad alta produttività ed efficiente in termini di memoria
Ray è un motore di calcolo AI. Ray consiste in un runtime distribuito principale e un set di librerie AI per accelerare i carichi di lavoro ML.
Una piattaforma aperta per l'addestramento, il serving e la valutazione di modelli linguistici di grandi dimensioni. Repository di rilascio per Vicuna e Chatbot Arena.
Questo progetto mira a condividere i principi tecnici e le esperienze pratiche relative ai modelli di grandi dimensioni (ingegnerizzazione di grandi modelli, applicazione pratica di grandi modelli).
TensorRT LLM fornisce agli utenti un'API Python di facile utilizzo per definire Large Language Models (LLM) e supporta ottimizzazioni all'avanguardia per eseguire inferenze in modo efficiente sulle GPU NVIDIA. TensorRT LLM contiene anche componenti per creare runtime Python e C++ che orchestrano l'esecuzione dell'inferenza in modo performante.
Esegui qualsiasi LLM open-source, come DeepSeek e Llama, come endpoint API compatibile con OpenAI nel cloud.
La piattaforma di calcolo AI per team all'avanguardia. SkyPilot trasforma il calcolo AI frammentato in un supercomputer AI, consentendo ai team all'avanguardia di costruire intelligenza personalizzata più velocemente.
Il modo più semplice per servire app e modelli AI - Costruisci API di inferenza del modello, code di lavoro, app LLM, pipeline multi-modello e altro!
《Comprendere a fondo l’infrastruttura dell’IA: analisi quantitativa e progettazione dei sistemi》 (di Li Bojie), un manoscritto di libro open source: partendo dai vincoli hardware e dalle architetture dei modelli, deriva quantitativamente la progettazione dei sistemi di inferenza e addestramento degli LLM. Include il testo completo, il PDF, strumenti di calcolo correlati ed esperimenti.
Un gestore di cluster GPU per il serving di modelli AI ad alte prestazioni (vLLM, SGLang) e istanze GPU on-demand accessibili via SSH.
Un'implementazione compatta di SGLang, progettata per demistificare le complessità dei moderni sistemi di serving LLM.
Superduper: Framework end-to-end per la creazione di applicazioni e agenti AI personalizzati.
Un elenco curato di risorse per modelli linguistici di grandi dimensioni, che coprono l'addestramento, il serving, il fine-tuning dei modelli e la creazione di applicazioni LLM.
Toolkit ad alte prestazioni per inferenza e deployment di LLM e VLM basato su PaddlePaddle
Framework di inferenza ad alte prestazioni per modelli linguistici di grandi dimensioni, incentrato su efficienza, flessibilità e disponibilità.
Cache KV elastica virtualizzata per la condivisione dinamica della GPU e oltre
Scarti di ricerca e strumenti eccezionali per la compressione di LLM.
Il motore di inferenza LLM open source per AWS Trainium: megakernel NKI, contesto da 1 milione di token e API compatibile con OpenAI. Di RunAnywhere.
Parallax è un framework di servizio di modelli distribuito che ti consente di costruire il tuo cluster IA ovunque
Inferenza locale con un comportamento simile a quello di un’API all’avanguardia: Qwen3.8-Flash-Next su AMD Strix Halo, insieme a piccoli modelli NPU, tramite le API di OpenAI e Anthropic su un’unica porta.
RTP-LLM: Il motore di inferenza LLM ad alte prestazioni di Alibaba per diverse applicazioni.
[NeurIPS'24 Spotlight, ICLR'25, ICML'25] Per accelerare l'inferenza dei LLM a lungo contesto, il calcolo approssimato e dinamico sparso dell'attenzione riduce la latenza di inferenza fino a 10 volte per il pre-fill su un A100, mantenendo l'accuratezza.
Un motore di accelerazione per l'inferenza LLM altamente ottimizzato per Llama e le sue varianti.
Un framework di serving per modelli ML ad alte prestazioni, offre batching dinamico e pipeline CPU/GPU per sfruttare appieno la tua macchina di calcolo
Questo repository contiene tutorial ed esempi per Triton Inference Server
[MLSys'25] QServe: Quantizzazione W4A8KV4 e co-progettazione del sistema per un serving efficiente di LLM; [MLSys'25] LServe: Serving efficiente di LLM per sequenze lunghe con attenzione sparsa unificata
♾️ Flotta di Agenti Privati con Codifica Specifica. Ogni agente ottiene il proprio desktop accelerato da GPU. Esegui Claude, Codex, Gemini e modelli open su uno Stack AI Privato Completo ♾️
Sistema di serving disaggregato per modelli linguistici di grandi dimensioni (LLM).
Modelli open di livello frontier su una TPU v5e-8 gratuita di Kaggle: GLM-5.3-Flash 320B MoE (~165 token/s, con il nostro motore JAX) e Qwen3.8-27B bf16 (~130 token/s), contesto da 262k e caching dei prefissi. Funziona con Claude Code, Codex, opencode e pi.
Toolbox per la Compressione di Modelli per Grandi Modelli Linguistici e Modelli di Diffusione
Motore di inferenza LLM puro Rust + CUDA — nessun PyTorch, compatibile con OpenAI, serve da Qwen3 a Kimi-K2
Domande frequenti
Qual è il repository #llm-serving più popolare su GitHub?
Il progetto open source #llm-serving più alto in classifica su GitHub è vllm-project/vllm, con 97,302 stelle. Un motore di inferenza e serving per LLM ad alta produttività ed efficiente in termini di memoria
Quali linguaggi di programmazione sono più utilizzati nei repository #llm-serving?
Tra i progetti #llm-serving più alti in classifica su GitHub, i linguaggi di programmazione più comuni sono Python, Jupyter Notebook, Rust, C++.
Come viene calcolata la classifica dei repository #llm-serving?
Monitoriamo 44 repository open source attivi contrassegnati con #llm-serving (500+ stelle), per un totale di 381,346 stelle e una media di 8,666 stelle per repository. Le classifiche vengono aggiornate quotidianamente tramite l’API di GitHub.