#vllm Repositórios
134 repositórios no total
Avalie e Aprimore Suas Implantações de LLM para Necessidades de Inferência do Mundo Real
Modelos abertos de decisão de 0,8B a 27B: uma probabilidade calibrada para cada opção em uma única passagem e um breve raciocínio apenas quando houver incerteza. Motor para vLLM, llama.cpp e MLX.
Eficiência da quantização pós-treinamento, precisão da quantização com treinamento consciente
Servidor de inferência de LLM de alto desempenho compatível com OpenAI e Anthropic para Apple Silicon. MLX nativo, processamento em lote contínuo, modelos multimodais, chamadas de ferramentas MCP e suporte a Claude Code.
Transforme qualquer LLM em um modelo de decisão no estilo Jev: decisões tipadas, probabilidades reais, sem treinamento. (Atualizações contínuas; aceitamos qualquer relato de problema e solicitação de PR)
Configurações de computadores de IA de código aberto, desde desktops com 2 GPUs até servidores com 8 GPUs: CAD, lista de materiais, BIOS e guias de montagem. Adquira o kit do gabinete com risers PCIe ou peça-nos uma verificação gratuita de compatibilidade.
Repositório oficial do artigo "Escalando a Criação de Dados Sintéticos com 1.000.000.000 de Personas"
Modelos Grandes Inspirados no Cérebro com Spiking, integrando atenção híbrida eficiente, módulos MoE e codificação de spikes em sua arquitetura
Kit de ferramentas para quantização (compressão) de modelos LLM, com suporte à aceleração por hardware para Nvidia CUDA, AMD ROCm, Intel XPU, Tenstorrent, NPU Huawei Ascend e CPUs Intel/AMD/Apple via HF, vLLM e SGLang.
Operador de Inferência de IA para Kubernetes. A maneira mais fácil de servir modelos de ML em produção. Suporta VLMs, LLMs, embeddings e fala-para-texto.
Um roteiro de 10 semanas, com 30 minutos por dia, para servir e otimizar a inferência de LLMs. vLLM, SGLang, quantização, decodificação especulativa e benchmarking.
🔒 Gateway de API de nível empresarial que o ajuda a monitorizar e impor limites de custo ou de taxa por chave de API. Obtenha controlo de acesso e monitorização granular por utilizador, aplicação ou ambiente. Suporta OpenAI, Azure OpenAI, Anthropic, vLLM e LLMs de código aberto.
Construa seu próprio mecanismo de inferência LLM de alto desempenho em C++ e CUDA - uma versão menor do vLLM
Kimi-VL: Modelo de Visão-Linguagem com Mistura de Especialistas para Raciocínio Multimodal, Compreensão de Contexto Longo e Fortes Capacidades de Agente
Uma estrutura MemAgent que pode ser extrapolada para 3.5M, juntamente com uma estrutura de treinamento para treinamento de RL de qualquer fluxo de trabalho de agente.
UniRL é uma estrutura para aprendizado por reforço de modelos multimodais unificados
Um Modelo Generalista Transparente para a Compreensão Holística de Visão-Linguagem Médica
Um CLI para estimar os requisitos de memória de inferência para modelos Hugging Face, escrito em Python.
Modelos abertos de decisão multimodal, de 0,8B a 27B, para texto, imagens e vídeo. Tome decisões atribuindo probabilidades aos seus próprios candidatos e localize elementos com caixas delimitadoras, em vez de gerar texto. API gratuita, ONNX, GGUF, vLLM e SGLang; código de ajuste fino incluído.
Série de modelos abertos Spark-x2.6. Expandindo os limites das capacidades agênticas dos modelos no dispositivo
Notas sobre LLM, incluindo inferência de modelo, estrutura do modelo transformer e notas de análise de código de framework LLM.
Um software OCR local, offline (após a configuração inicial), portátil, que pode processar imagens e arquivos PDF, usando DeepSeek-OCR-2 AI (executando diretamente em sua máquina).
Este repositório contém tutoriais e exemplos para o Triton Inference Server
Halo é um framework de código aberto desenvolvido pela White Circle para treinar modelos de linguagem de grande escala e modelos multimodais
Documentação completa para configurar seu próprio servidor LLM local e totalmente privado no Debian. Equipado com chat, pesquisa na web, RAG, gerenciamento de modelos, servidores MCP, geração de imagens e TTS.
Ambiente de trabalho de análise de dados com tecnologia de IA, desenvolvido para oferecer transparência, reprodutibilidade e controle ao usuário. Inspecione o código e as evidências por trás dos resultados, verifique os cálculos reproduzindo-os e escolha entre uma ampla variedade de modelos, incluindo modelos locais de pesos abertos.
Estender o OpenRLHF para suportar o treinamento RL de LMM para a reprodução do DeepSeek-R1 em tarefas multimodais.
Uma infraestrutura de ponta a ponta para treinamento e avaliação de vários agentes LLM.
Tencent Hunyuan A13B (resumido como Hunyuan-A13B), um LLM inovador e de código aberto construído sobre uma arquitetura MoE de grão fino.
Modelos abertos de nível de fronteira em uma TPU v5e-8 gratuita da Kaggle: GLM-5.3-Flash 320B MoE (~165 tokens/s, com nosso próprio mecanismo JAX) e Qwen3.8-27B bf16 (~130 tokens/s), contexto de 262k e cache de prefixos. Funciona com Claude Code, Codex, opencode e pi.
Seed-Coder é uma família de LLMs de código aberto leves, composta por modelos base, de instrução e de raciocínio, desenvolvida pela ByteDance Seed.