Git Stars Git Stars

#vllm Repository

133
Totale Repository
554,542
Totale stelle
4,169
Media Stelle/Repo
Linguaggi di programmazione: Python Go HTML C++
51
allenai/Olmo-core

Blocchi costitutivi PyTorch per l'ecosistema OLMo

allenai
โญ 1,810 Python ๐Ÿ‘ค allenai Organization ๐Ÿ• Aggiornato 2026-11-21 ๐Ÿ“… Creato 2024-03-23
52
vllm-project/guidellm

Valuta e migliora le tue distribuzioni LLM per esigenze di inferenza nel mondo reale

vllm-project
โญ 1,800 Python ๐Ÿ‘ค vllm-project Organization ๐Ÿ• Aggiornato 2026-11-21 ๐Ÿ“… Creato 2024-05-29
53
StartLuxLabs/StartLux-Decision

Modelli decisionali aperti da 0,8B a 27B: una probabilitร  calibrata per ogni opzione in un solo passaggio e un breve ragionamento solo in caso di incertezza. Motore per vLLM, llama.cpp e MLX.

StartLuxLabs
โญ 1,780 Python ๐Ÿ‘ค StartLuxLabs Organization ๐Ÿ• Aggiornato 2026-10-23 ๐Ÿ“… Creato 2026-09-29
54
intel/auto-round

Efficienza della quantizzazione post-training, accuratezza della quantizzazione con addestramento consapevole

intel
โญ 1,706 Python ๐Ÿ‘ค intel Organization ๐Ÿ• Aggiornato 2026-11-21 ๐Ÿ“… Creato 2024-01-04
56
waybarrios/vllm-mlx

Server di inferenza LLM ad alte prestazioni compatibile con OpenAI e Anthropic per Apple Silicon. MLX nativo, batching continuo, modelli multimodali, chiamate di strumenti MCP e supporto per Claude Code.

waybarrios
โญ 1,657 Python ๐Ÿ‘ค waybarrios User ๐Ÿ• Aggiornato 2026-11-07 ๐Ÿ“… Creato 2025-12-06
57
nokia-applied-research/AnyJev

Trasforma qualsiasi LLM in un modello decisionale in stile Jev: decisioni tipizzate, probabilitร  reali, senza addestramento. (Aggiornamenti continui; sono benvenute segnalazioni di problemi e richieste di PR)

nokia-applied-research
โญ 1,632 Python ๐Ÿ‘ค nokia-applied-research Organization ๐Ÿ• Aggiornato 2026-10-21 ๐Ÿ“… Creato 2026-09-21
58
autonomous-ai/Personal-AI-Computer

Configurazioni open source di computer per lโ€™IA, dai desktop con 2 GPU ai server con 8 GPU: CAD, distinta base, BIOS e guide allโ€™assemblaggio. Acquista il kit del case con riser PCIe oppure chiedici una verifica gratuita della compatibilitร .

autonomous-ai
โญ 1,601 ๐Ÿ‘ค autonomous-ai Organization ๐Ÿ• Aggiornato 2026-11-05 ๐Ÿ“… Creato 2025-08-22
โญ 1,599 Python ๐Ÿ‘ค databricks Organization ๐Ÿ• Aggiornato 2026-03-25 ๐Ÿ“… Creato 2023-01-26
โญ 1,588 Python ๐Ÿ‘ค Tencent-Hunyuan Organization ๐Ÿ• Aggiornato 2024-12-06 ๐Ÿ“… Creato 2024-10-23
61
tencent-ailab/persona-hub

Repo ufficiale per l'articolo "Scaling Synthetic Data Creation with 1,000,000,000 Personas"

tencent-ailab
โญ 1,585 Python ๐Ÿ‘ค tencent-ailab User ๐Ÿ• Aggiornato 2025-02-19 ๐Ÿ“… Creato 2024-06-22
62
verl-project/verl-omni

Framework di training RL multimodale per modelli di diffusione e omni

verl-project
โญ 1,560 Python ๐Ÿ‘ค verl-project Organization ๐Ÿ• Aggiornato 2026-11-21 ๐Ÿ“… Creato 2026-04-21
โญ 1,434 Python ๐Ÿ‘ค QwenLM Organization ๐Ÿ• Aggiornato 2026-06-23 ๐Ÿ“… Creato 2026-01-08
64
BICLab/SpikingBrain-7B

Modelli di grandi dimensioni ispirati al cervello a spiking, che integrano un'attenzione ibrida efficiente, moduli MoE e codifica a spike nella loro architettura

BICLab
โญ 1,432 Python ๐Ÿ‘ค BICLab User ๐Ÿ• Aggiornato 2026-05-14 ๐Ÿ“… Creato 2025-09-03
65
MoonshotAI/Kimi-Dev

LLM di codifica open-source per attivitร  di ingegneria del software

MoonshotAI
โญ 1,357 Python ๐Ÿ‘ค MoonshotAI Organization ๐Ÿ• Aggiornato 2025-09-30 ๐Ÿ“… Creato 2025-06-16
66
ModelCloud/GPTQModel

Toolkit per la quantizzazione (compressione) di modelli LLM, con supporto allโ€™accelerazione hardware per Nvidia CUDA, AMD ROCm, Intel XPU, Tenstorrent, NPU Huawei Ascend e CPU Intel/AMD/Apple tramite HF, vLLM e SGLang.

ModelCloud
โญ 1,294 Python ๐Ÿ‘ค ModelCloud Organization ๐Ÿ• Aggiornato 2026-11-21 ๐Ÿ“… Creato 2024-06-17
67
kubeai-project/kubeai

AI Inference Operator per Kubernetes. Il modo piรน semplice per servire modelli ML in produzione. Supporta VLM, LLM, embedding e speech-to-text.

kubeai-project
โญ 1,294 Go ๐Ÿ‘ค kubeai-project Organization ๐Ÿ• Aggiornato 2026-11-16 ๐Ÿ“… Creato 2023-10-21
โญ 1,293 Python ๐Ÿ‘ค Visual-Agent Organization ๐Ÿ• Aggiornato 2025-11-20 ๐Ÿ“… Creato 2025-03-15
69
OpenBuddy/OpenBuddy

Chatbot multilingue aperto per tutti

OpenBuddy
โญ 1,274 ๐Ÿ‘ค OpenBuddy Organization ๐Ÿ• Aggiornato 2025-06-08 ๐Ÿ“… Creato 2023-04-26
70
patchy631/time-to-first-token

Una roadmap di 10 settimane, dedicando 30 minuti al giorno, per il serving e lโ€™ottimizzazione dellโ€™inferenza degli LLM. vLLM, SGLang, quantizzazione, decodifica speculativa e benchmarking.

patchy631
โญ 1,245 HTML ๐Ÿ‘ค patchy631 User ๐Ÿ• Aggiornato 2026-08-14 ๐Ÿ“… Creato 2026-08-02
71
Ksuriuri/index-tts-vllm

Aggiunto il supporto vLLM a IndexTTS per inferenze piรน veloci.

Ksuriuri
โญ 1,244 Python ๐Ÿ‘ค Ksuriuri User ๐Ÿ• Aggiornato 2026-04-13 ๐Ÿ“… Creato 2025-05-03
72
eagle-hq/EAGLE-4

Codice ufficiale di inferenza di EAGLE-4

eagle-hq
โญ 1,220 Python ๐Ÿ‘ค eagle-hq Organization ๐Ÿ• Aggiornato 2026-11-13 ๐Ÿ“… Creato 2026-10-20
73
bricks-cloud/BricksLLM

โ˜๏ธ Gateway API di livello enterprise che ti aiuta a monitorare e imporre limiti di costo o tariffa per chiave API. Ottieni controllo degli accessi granulare e monitoraggio per utente, applicazione o ambiente. Supporta OpenAI, Azure OpenAI, Anthropic, vLLM e LLM open-source.

bricks-cloud
โญ 1,210 Go ๐Ÿ‘ค bricks-cloud Organization ๐Ÿ• Aggiornato 2025-01-05 ๐Ÿ“… Creato 2023-07-18
74
jmaczan/tiny-vllm

Costruisci il tuo motore di inferenza LLM ad alte prestazioni in C++ e CUDA - una versione piรน piccola di vLLM

jmaczan
โญ 1,207 C++ ๐Ÿ‘ค jmaczan User ๐Ÿ• Aggiornato 2026-11-15 ๐Ÿ“… Creato 2026-02-09
75
MoonshotAI/Kimi-VL

Kimi-VL: Modello Vision-Language Mixture-of-Experts per il Ragionamento Multimodale, la Comprensione del Lungo Contesto e Forti Capacitร  di Agente

MoonshotAI
โญ 1,203 ๐Ÿ‘ค MoonshotAI Organization ๐Ÿ• Aggiornato 2025-07-15 ๐Ÿ“… Creato 2025-04-09
76
BytedTsinghua-SIA/MemAgent

Un framework MemAgent estensibile a 3,5 milioni, insieme a un framework di addestramento per l'addestramento RL di qualsiasi flusso di lavoro dell'agente.

BytedTsinghua-SIA
โญ 1,118 Python ๐Ÿ‘ค BytedTsinghua-SIA Organization ๐Ÿ• Aggiornato 2026-05-12 ๐Ÿ“… Creato 2025-06-24
โญ 1,090 Python ๐Ÿ‘ค thinking-machines-lab Organization ๐Ÿ• Aggiornato 2025-11-04 ๐Ÿ“… Creato 2025-09-10
78
prometheus-eval/prometheus-eval

Valuta la risposta del tuo LLM con Prometheus e GPT4 ๐Ÿ’ฏ

prometheus-eval
โญ 1,087 Python ๐Ÿ‘ค prometheus-eval Organization ๐Ÿ• Aggiornato 2025-04-25 ๐Ÿ“… Creato 2024-04-18
79
GAIR-NLP/LIMO

[COLM 2025] LIMO: Less is More per il Ragionamento

GAIR-NLP
โญ 1,081 Python ๐Ÿ‘ค GAIR-NLP Organization ๐Ÿ• Aggiornato 2025-07-30 ๐Ÿ“… Creato 2025-02-04
80
Pokee-AI/PokeeResearchOSS

Pokee Deep Research Model Open Source Repo

Pokee-AI
โญ 1,075 Python ๐Ÿ‘ค Pokee-AI Organization ๐Ÿ• Aggiornato 2025-10-22 ๐Ÿ“… Creato 2025-10-17
81
Tencent-Hunyuan/UniRL

UniRL รจ un framework per l'apprendimento per rinforzo di modelli multimodali unificati

Tencent-Hunyuan
โญ 1,051 Python ๐Ÿ‘ค Tencent-Hunyuan Organization ๐Ÿ• Aggiornato 2026-11-16 ๐Ÿ“… Creato 2026-06-08
83
ZJUI-AI4H/Hulu-Med

Un modello generalista trasparente verso una comprensione olistica visione-linguaggio in ambito medico

ZJUI-AI4H
โญ 1,031 Python ๐Ÿ‘ค ZJUI-AI4H User ๐Ÿ• Aggiornato 2026-08-30 ๐Ÿ“… Creato 2025-10-08
84
convergence-ai/proxy-lite

Una versione mini, con pesi aperti, del nostro assistente Proxy.

convergence-ai
โญ 989 Python ๐Ÿ‘ค convergence-ai Organization ๐Ÿ• Aggiornato 2025-02-26 ๐Ÿ“… Creato 2025-02-10
โญ 970 Python ๐Ÿ‘ค zhentingqi User ๐Ÿ• Aggiornato 2025-01-23 ๐Ÿ“… Creato 2024-08-07
86
alvarobartt/hf-mem

Un CLI per stimare i requisiti di memoria di inferenza per i modelli Hugging Face, scritto in Python.

alvarobartt
โญ 956 Python ๐Ÿ‘ค alvarobartt User ๐Ÿ• Aggiornato 2026-11-20 ๐Ÿ“… Creato 2025-12-22
87
Valen-Team/Valen

Modelli aperti di decisione multimodale, da 0,8B a 27B, per testo, immagini e video. Decidi assegnando probabilitร  ai tuoi candidati e individua gli elementi con riquadri di delimitazione, invece di generare testo. API gratuita, ONNX, GGUF, vLLM e SGLang; codice per il fine-tuning incluso.

Valen-Team
โญ 932 Python ๐Ÿ‘ค Valen-Team Organization ๐Ÿ• Aggiornato 2026-11-15 ๐Ÿ“… Creato 2026-09-23
88
XHToken/Spark-X2.6

Serie di modelli open Spark-x2.6. Spingere oltre i limiti delle capacitร  agentiche dei modelli on-device

XHToken
โญ 927 ๐Ÿ‘ค XHToken Organization ๐Ÿ• Aggiornato 2026-11-04 ๐Ÿ“… Creato 2026-08-24
89
harleyszhang/llm_note

Note LLM, inclusi inferenza del modello, struttura del modello transformer e note sull'analisi del codice del framework LLM.

harleyszhang
โญ 897 Python ๐Ÿ‘ค harleyszhang User ๐Ÿ• Aggiornato 2026-08-19 ๐Ÿ“… Creato 2024-09-18
90
th1nhhdk/local_ai_ocr

Un software OCR locale, offline (dopo la configurazione iniziale), portatile, in grado di elaborare immagini e file PDF, utilizzando DeepSeek-OCR-2 AI (eseguito direttamente sulla tua macchina).

th1nhhdk
โญ 892 Python ๐Ÿ‘ค th1nhhdk User ๐Ÿ• Aggiornato 2026-07-05 ๐Ÿ“… Creato 2025-11-21
91
triton-inference-server/tutorials

Questo repository contiene tutorial ed esempi per Triton Inference Server

triton-inference-server
โญ 869 Python ๐Ÿ‘ค triton-inference-server Organization ๐Ÿ• Aggiornato 2026-11-17 ๐Ÿ“… Creato 2022-12-16
92
whitecircle/halo

Halo รจ un framework open source sviluppato da White Circle per addestrare modelli linguistici di grandi dimensioni e modelli multimodali

whitecircle
โญ 868 Python ๐Ÿ‘ค whitecircle Organization ๐Ÿ• Aggiornato 2026-11-21 ๐Ÿ“… Creato 2026-08-26
93
varunvasudeva1/llm-server-docs

Documentazione end-to-end per impostare il tuo server LLM locale e completamente privato su Debian. Dotato di chat, ricerca web, RAG, gestione dei modelli, server MCP, generazione di immagini e TTS.

varunvasudeva1
โญ 853 ๐Ÿ‘ค varunvasudeva1 User ๐Ÿ• Aggiornato 2026-06-30 ๐Ÿ“… Creato 2024-03-26
94
pgalko/BambooAI

Un ambiente di lavoro per lโ€™analisi dei dati basato sullโ€™IA, progettato per garantire trasparenza, riproducibilitร  e controllo da parte dellโ€™utente. Esamina il codice e le prove alla base dei risultati, verifica i calcoli riproducendoli e scegli tra unโ€™ampia gamma di modelli, compresi modelli locali con pesi aperti.

pgalko
โญ 848 Python ๐Ÿ‘ค pgalko User ๐Ÿ• Aggiornato 2026-11-20 ๐Ÿ“… Creato 2023-05-07
95
TideDra/lmm-r1

Estendere OpenRLHF per supportare l'addestramento LMM RL per la riproduzione di DeepSeek-R1 su attivitร  multimodali.

TideDra
โญ 843 Python ๐Ÿ‘ค TideDra User ๐Ÿ• Aggiornato 2025-05-14 ๐Ÿ“… Creato 2025-02-13
96
jakobdylanc/llmcord

Fai di Discord lโ€™interfaccia del tuo LLM

jakobdylanc
โญ 843 Python ๐Ÿ‘ค jakobdylanc User ๐Ÿ• Aggiornato 2026-08-14 ๐Ÿ“… Creato 2023-05-08
97
OpenBMB/AgentCPM

Un'infrastruttura end-to-end per l'addestramento e la valutazione di vari agenti LLM.

OpenBMB
โญ 835 Python ๐Ÿ‘ค OpenBMB Organization ๐Ÿ• Aggiornato 2026-10-22 ๐Ÿ“… Creato 2026-01-08
98
Tencent-Hunyuan/Hunyuan-A13B

Tencent Hunyuan A13B (in breve Hunyuan-A13B), un LLM innovativo e open-source costruito su un'architettura MoE a grana fine.

Tencent-Hunyuan
โญ 815 Python ๐Ÿ‘ค Tencent-Hunyuan Organization ๐Ÿ• Aggiornato 2025-07-08 ๐Ÿ“… Creato 2025-06-27
99
ARahim3/kaggle-tpu-lab

Modelli open di livello frontier su una TPU v5e-8 gratuita di Kaggle: GLM-5.3-Flash 320B MoE (~165 token/s, con il nostro motore JAX) e Qwen3.8-27B bf16 (~130 token/s), contesto da 262k e caching dei prefissi. Funziona con Claude Code, Codex, opencode e pi.

ARahim3
โญ 812 Python ๐Ÿ‘ค ARahim3 User ๐Ÿ• Aggiornato 2026-10-06 ๐Ÿ“… Creato 2026-08-31
100
ByteDance-Seed/Seed-Coder

Seed-Coder รจ una famiglia di LLM open-source leggeri per codice, comprendente modelli base, instruct e di ragionamento, sviluppati da ByteDance Seed.

ByteDance-Seed
โญ 755 ๐Ÿ‘ค ByteDance-Seed Organization ๐Ÿ• Aggiornato 2025-06-06 ๐Ÿ“… Creato 2025-04-21