Git Stars Git Stars

#vllm Repositórios

133
Total de Repositórios
554,542
Total de estrelas
4,169
Média de Estrelas/Repositório

134 repositórios no total

101
ModelTC/LightCompress

[EMNLP 2024 & AAAI 2026] Um kit de ferramentas poderoso para compactar grandes modelos, incluindo LLMs, VLMs e modelos generativos de vídeo.

ModelTC
⭐ 755 Python 👤 ModelTC Organization 🕐 Atualizado 2026-05-14 📅 Criado 2024-03-06
102
pegainfer-project/pegainfer

Motor de inferência LLM puro Rust + CUDA — sem PyTorch, compatível com OpenAI, atende de Qwen3 a Kimi-K2

pegainfer-project
⭐ 748 Rust 👤 pegainfer-project Organization 🕐 Atualizado 2026-11-21 📅 Criado 2026-02-17
103
smg-project/smg

Gateway de LLM independente do mecanismo, desenvolvido em Rust. Compatibilidade total com as APIs da OpenAI e da Anthropic para vLLM, TRT-LLM, TokenSpeed, SGLang, OpenAI, Gemini e muito mais. Pipeline gRPC pioneiro no setor, roteamento ciente do cache KV, histórico de conversas, cache de tokenização, Responses API, embeddings, plugins WASM, MCP e autenticação multi-tenant.

smg-project
⭐ 736 Rust 👤 smg-project Organization 🕐 Atualizado 2026-11-21 📅 Criado 2025-11-22
104
microsoft/vidur

Simulador preciso, em grande escala e extensível para sistemas de inferência de LLM

microsoft
⭐ 733 Python 👤 microsoft Organization 🕐 Atualizado 2026-08-24 📅 Criado 2023-11-02
106
SimonZeng7108/efficientsam3

EfficientSAM3 comprime o SAM3 em modelos leves e amigáveis para borda por meio de destilação de conhecimento progressiva para segmentação e rastreamento de conceitos promptáveis rápidos.

SimonZeng7108
⭐ 713 Jupyter Notebook 👤 SimonZeng7108 User 🕐 Atualizado 2026-08-11 📅 Criado 2025-10-16
⭐ 703 Python 👤 stepfun-ai Organization 🕐 Atualizado 2026-04-29 📅 Criado 2025-11-11
108
ChenxinAn-fdu/POLARIS

Escalonamento de RL em modelos de raciocínio avançado

ChenxinAn-fdu
⭐ 697 Python 👤 ChenxinAn-fdu User 🕐 Atualizado 2025-10-20 📅 Criado 2025-06-18
109
IEIT-Yuan/Yuan-2.0

Modelo de Linguagem Grande Yuan 2.0

IEIT-Yuan
⭐ 689 Python 👤 IEIT-Yuan Organization 🕐 Atualizado 2024-07-11 📅 Criado 2023-11-26
110
mlabonne/llm-autoeval

Avalie automaticamente seus LLMs no Google Colab

mlabonne
⭐ 678 Python 👤 mlabonne User 🕐 Atualizado 2024-05-07 📅 Criado 2024-01-01
111
owenliang/qwen-vllm

Tongyi Qianwen VLLM Inferência Implantação DEMO

owenliang
⭐ 637 Python 👤 owenliang User 🕐 Atualizado 2024-03-28 📅 Criado 2024-01-21
112
firstbatchxyz/mem-agent-mcp

mem-agent mcp server

firstbatchxyz
⭐ 628 Python 👤 firstbatchxyz Organization 🕐 Atualizado 2025-11-17 📅 Criado 2025-09-01
113
mlfoundations/evalchemy

Avaliações automáticas para LLMs

mlfoundations
⭐ 617 HTML 👤 mlfoundations Organization 🕐 Atualizado 2026-11-12 📅 Criado 2024-11-15
114
jaylfc/taOS

Sistema operacional de agentes de IA auto-hospedado. Sua memória, chats, agentes e arquivos permanecem no hardware que você possui, offline por padrão, na nuvem por escolha. Inclui memória de IA offline (taOSmd), chat em grupo multi-framework auto-hospedado, um desktop web completo + loja de aplicativos e clustering automático no hardware de consumo que você já possui (Orange/Raspberry Pi, Mac mini, PC gamer).

jaylfc
⭐ 609 Python 👤 jaylfc User 🕐 Atualizado 2026-11-20 📅 Criado 2026-04-05
115
HuiResearch/FlashTTS

Com base em modelos como SparkTTS e OrpheusTTS, fornecemos serviços de síntese de fala chinesa de alta qualidade e clonagem de voz.

HuiResearch
⭐ 603 Python 👤 HuiResearch User 🕐 Atualizado 2025-05-18 📅 Criado 2025-03-13
116
MoonshotAI/K2-Vendor-Verifier

Verificar a precisão de todos os fornecedores de API Kimi K2

MoonshotAI
⭐ 602 Python 👤 MoonshotAI Organization 🕐 Atualizado 2026-02-14 📅 Criado 2025-09-09
117
llmmanorg/llmman

Execute qualquer agente em qualquer modelo; os modelos são armazenados como imagens OCI

llmmanorg
⭐ 598 Rust 👤 llmmanorg Organization 🕐 Atualizado 2026-11-21 📅 Criado 2026-03-22
119
kacper-daftcode/vLLM-Moet

Modelos MoE de ponta em RTX PRO 6000 / RTX 5090 (sm_120): DeepSeek-V4.1-Flash em 4 RTX PRO 6000, como híbrido GPU+CPU em 4 RTX 5090 e especialistas de 2 bits no vLLM v0.24.0

kacper-daftcode
⭐ 580 Sass 👤 kacper-daftcode User 🕐 Atualizado 2026-11-18 📅 Criado 2026-06-15
120
raids-lab/crater

Crater é uma plataforma de treinamento e inferência de IA nativa da nuvem.

raids-lab
⭐ 578 Go 👤 raids-lab Organization 🕐 Atualizado 2026-11-20 📅 Criado 2025-06-08
⭐ 568 Python 👤 pipecat-ai Organization 🕐 Atualizado 2026-06-03 📅 Criado 2026-01-01
122
fufankeji/DeepSeek-OCR-Web

Web Studio de análise de documentos OCR DeepSeek pronto para uso

fufankeji
⭐ 568 TypeScript 👤 fufankeji User 🕐 Atualizado 2025-10-27 📅 Criado 2025-10-23
123
spark-arena/sparkrun

sparkrun — inicie, gerencie e interrompa cargas de trabalho de inferência de LLM em sistemas NVIDIA DGX Spark. Suporte ao vivo: https://discord.com/invite/GH5kRgv6ZD

spark-arena
⭐ 567 Python 👤 spark-arena Organization 🕐 Atualizado 2026-11-17 📅 Criado 2026-02-16
124
FlagOpen/RoboBrain

[CVPR 2025] RoboBrain: Um modelo de cérebro unificado para manipulação robótica do abstrato ao concreto. Repositório oficial.

FlagOpen
⭐ 564 Python 👤 FlagOpen Organization 🕐 Atualizado 2025-10-13 📅 Criado 2025-03-27
125
llumnix-project/llumnix-ray

Serviço eficiente e fácil de LLM multi-instância

llumnix-project
⭐ 561 Python 👤 llumnix-project Organization 🕐 Atualizado 2026-03-12 📅 Criado 2024-05-20
126
01-ai/Yi-1.5

Yi-1.5 é uma versão aprimorada do Yi, proporcionando um desempenho superior em codificação, matemática, raciocínio e capacidade de seguir instruções.

01-ai
⭐ 557 👤 01-ai Organization 🕐 Atualizado 2024-11-11 📅 Criado 2024-05-10
128
micytao/vllm-playground

Uma interface web moderna para gerenciar e interagir com servidores vLLM (www.github.com/vllm-project/vllm). Suporta modos GPU e CPU, com otimizações especiais para macOS Apple Silicon e implantação corporativa em OpenShift/Kubernetes.

micytao
⭐ 548 JavaScript 👤 micytao User 🕐 Atualizado 2026-11-07 📅 Criado 2025-11-01
129
Yzw202011/OmniSpace

Estação de trabalho criativa de IA full-stack com prioridade local: cinco módulos — chat com IA, quadrinhos com IA, criação de dramas em quadrinhos, espaço de escrita e aprendizagem de conhecimentos; inferência local com vários mecanismos (vLLM / llama.cpp / Transformers), gerenciamento inteligente da VRAM, isolamento por compartimentos e autorrecuperação. Apenas para fins de aprendizagem; comentários e sugestões são bem-vindos. (Devido a restrições do protocolo, os avanços mais recentes, com exceção do sistema de plugins, não podem ser enviados ao repositório por enquanto.)

Yzw202011
⭐ 536 Python 👤 Yzw202011 User 🕐 Atualizado 2026-09-20 📅 Criado 2026-08-23
130
ome-projects/ome

Open Model Engine (OME) — operador Kubernetes para serving de LLMs, agendamento de GPUs e gerenciamento do ciclo de vida dos modelos. Compatível com SGLang, vLLM, TensorRT-LLM e Triton

ome-projects
⭐ 529 Go 👤 ome-projects Organization 🕐 Atualizado 2026-11-21 📅 Criado 2025-05-19
131
huawei-csl/KVarN

KVarN é um backend nativo do vLLM para quantização do cache KV dos seus agentes: de 3 a 5 vezes mais contexto, throughput superior ao FP16 e precisão de nível FP16. Sem calibração, basta uma flag.

huawei-csl
⭐ 521 Python 👤 huawei-csl Organization 🕐 Atualizado 2026-06-22 📅 Criado 2026-05-29
132
adventists-ai/sophon-realtime

Modelos de voz abertos full-duplex que percebem o seu tom e falam com um tom próprio. Uma única GPU com vLLM-Omni ou execução totalmente offline em um Mac com MLX. Clonagem de voz zero-shot, compatibilidade com OpenAI Realtime / GPT-Live e teste gratuito da API hospedada. Apache-2.0.

adventists-ai
⭐ 510 Python 👤 adventists-ai Organization 🕐 Atualizado 2026-11-20 📅 Criado 2026-11-04
133
Chen-zexi/vllm-cli

Uma ferramenta de interface de linha de comando para servir LLM usando vLLM.

Chen-zexi
⭐ 507 Python 👤 Chen-zexi User 🕐 Atualizado 2026-01-25 📅 Criado 2025-08-14
134
AEON-7/Qwen3.6-27B-AEON-Ultimate-Uncensored-DFlash

Ablation totalmente sem censura e com capacidades aprimoradas do Qwen3.6-27B. Decodificação especulativa NVFP4 + z-lab DFlash (n=12) no contêiner unificado ghcr.io/aeon-7/aeon-vllm-ultimate:latest, otimizada para a aceitação de rascunhos em contextos longos no DGX Spark. 6 variantes HF (BF16/NVFP4/MTP/MTP-XS), docker-compose e QuickStart.

AEON-7
⭐ 501 Python 👤 AEON-7 User 🕐 Atualizado 2026-11-13 📅 Criado 2026-04-25