#vllm Repositórios
134 repositórios no total
[EMNLP 2024 & AAAI 2026] Um kit de ferramentas poderoso para compactar grandes modelos, incluindo LLMs, VLMs e modelos generativos de vídeo.
Motor de inferência LLM puro Rust + CUDA — sem PyTorch, compatível com OpenAI, atende de Qwen3 a Kimi-K2
Gateway de LLM independente do mecanismo, desenvolvido em Rust. Compatibilidade total com as APIs da OpenAI e da Anthropic para vLLM, TRT-LLM, TokenSpeed, SGLang, OpenAI, Gemini e muito mais. Pipeline gRPC pioneiro no setor, roteamento ciente do cache KV, histórico de conversas, cache de tokenização, Responses API, embeddings, plugins WASM, MCP e autenticação multi-tenant.
Simulador preciso, em grande escala e extensível para sistemas de inferência de LLM
EfficientSAM3 comprime o SAM3 em modelos leves e amigáveis para borda por meio de destilação de conhecimento progressiva para segmentação e rastreamento de conceitos promptáveis rápidos.
Sistema operacional de agentes de IA auto-hospedado. Sua memória, chats, agentes e arquivos permanecem no hardware que você possui, offline por padrão, na nuvem por escolha. Inclui memória de IA offline (taOSmd), chat em grupo multi-framework auto-hospedado, um desktop web completo + loja de aplicativos e clustering automático no hardware de consumo que você já possui (Orange/Raspberry Pi, Mac mini, PC gamer).
Com base em modelos como SparkTTS e OrpheusTTS, fornecemos serviços de síntese de fala chinesa de alta qualidade e clonagem de voz.
Execute qualquer agente em qualquer modelo; os modelos são armazenados como imagens OCI
Modelos MoE de ponta em RTX PRO 6000 / RTX 5090 (sm_120): DeepSeek-V4.1-Flash em 4 RTX PRO 6000, como híbrido GPU+CPU em 4 RTX 5090 e especialistas de 2 bits no vLLM v0.24.0
sparkrun — inicie, gerencie e interrompa cargas de trabalho de inferência de LLM em sistemas NVIDIA DGX Spark. Suporte ao vivo: https://discord.com/invite/GH5kRgv6ZD
[CVPR 2025] RoboBrain: Um modelo de cérebro unificado para manipulação robótica do abstrato ao concreto. Repositório oficial.
Yi-1.5 é uma versão aprimorada do Yi, proporcionando um desempenho superior em codificação, matemática, raciocínio e capacidade de seguir instruções.
Uma interface web moderna para gerenciar e interagir com servidores vLLM (www.github.com/vllm-project/vllm). Suporta modos GPU e CPU, com otimizações especiais para macOS Apple Silicon e implantação corporativa em OpenShift/Kubernetes.
Estação de trabalho criativa de IA full-stack com prioridade local: cinco módulos — chat com IA, quadrinhos com IA, criação de dramas em quadrinhos, espaço de escrita e aprendizagem de conhecimentos; inferência local com vários mecanismos (vLLM / llama.cpp / Transformers), gerenciamento inteligente da VRAM, isolamento por compartimentos e autorrecuperação. Apenas para fins de aprendizagem; comentários e sugestões são bem-vindos. (Devido a restrições do protocolo, os avanços mais recentes, com exceção do sistema de plugins, não podem ser enviados ao repositório por enquanto.)
Open Model Engine (OME) — operador Kubernetes para serving de LLMs, agendamento de GPUs e gerenciamento do ciclo de vida dos modelos. Compatível com SGLang, vLLM, TensorRT-LLM e Triton
KVarN é um backend nativo do vLLM para quantização do cache KV dos seus agentes: de 3 a 5 vezes mais contexto, throughput superior ao FP16 e precisão de nível FP16. Sem calibração, basta uma flag.
Modelos de voz abertos full-duplex que percebem o seu tom e falam com um tom próprio. Uma única GPU com vLLM-Omni ou execução totalmente offline em um Mac com MLX. Clonagem de voz zero-shot, compatibilidade com OpenAI Realtime / GPT-Live e teste gratuito da API hospedada. Apache-2.0.
Ablation totalmente sem censura e com capacidades aprimoradas do Qwen3.6-27B. Decodificação especulativa NVFP4 + z-lab DFlash (n=12) no contêiner unificado ghcr.io/aeon-7/aeon-vllm-ultimate:latest, otimizada para a aceitação de rascunhos em contextos longos no DGX Spark. 6 variantes HF (BF16/NVFP4/MTP/MTP-XS), docker-compose e QuickStart.