#vllm Repositórios
Descubra 133 repositórios ativos de código aberto no GitHub marcados com #vllm, acumulando um total de 554,542 estrelas (uma média de 4,169 por projeto). O líder deste tópico é earendil-works/pi, com 123,140 estrelas.
134 repositórios no total
Kit de ferramentas para agentes de IA: API de LLM unificada, loop de agente, TUI, CLI de agente de codificação
OCR, análise de layout, ordem de leitura, reconhecimento de tabelas em mais de 90 idiomas
Kit de ferramentas de reconhecimento de fala de código aberto para treinamento, inferência, ASR em streaming, VAD, pontuação, pipelines de diarização de falantes e serviço compatível com OpenAI/MCP.
Bem-vindo ao Llama Cookbook! Este é o seu guia essencial para Construir com Llama: Começando com Inferência, Ajuste Fino (Fine-Tuning) e RAG. Também mostramos como resolver problemas de ponta a ponta usando a família de modelos Llama e como utilizá-los em vários serviços de provedores.
Solução Android no Docker com suporte a noVNC, gravação de vídeo, servidor MCP e agente de IA
Biblioteca abrangente de código aberto de habilidades de pesquisa e engenharia de IA para qualquer modelo de IA. Empacote as habilidades e seu agente claude code/codex/gemini será um agente de pesquisa de IA com toda a sua potência. Mantido pela Orchestra Research.
✍🏻 Mergulhos profundos em código fonte, design de sistemas e blogs de engenharia | Halfrost-Field: Notas de análise de código fonte, design de sistemas e prática de engenharia
Modelo de OCR que lida com tabelas complexas, formulários e escrita à mão com layout completo.
Um framework RL agentico fácil de usar, escalável e de alto desempenho baseado em Ray (PPO & DAPO & REINFORCE++ & VLM & TIS & vLLM & Ray & Async RL)
Plataforma de inferência de código aberto para modelos de linguagem, visão, embeddings, reranking, imagem, áudio e vídeo. Implante vários mecanismos em hardware heterogêneo, de um laptop a um cluster distribuído. Disponibilize modelos por meio de APIs compatíveis com a OpenAI.
Mooncake é a plataforma de serviço para Kimi, um serviço de LLM líder fornecido pela Moonshot AI.
Uma camada de decisão aberta e programável para modelos e computação.
Plataforma Padronizada de Inferência de IA Generativa e Preditiva Distribuída para Implantação Escalável e Multi-Framework no Kubernetes
Um gerenciador de cluster de GPU para serviço de modelos de IA de alto desempenho (vLLM, SGLang) e instâncias de GPU sob demanda acessíveis via SSH.
Aprenda sobre sistemas de inferência de LLM no Apple Silicon para engenheiros de sistemas: construa um pequeno vLLM + Qwen
Uma estrutura MCP de baixo código para construir pipelines RAG complexos e inovadores
Search-R1: Uma Estrutura Eficiente e Escalável de Treinamento RL para Invocação de Motor de Busca e Raciocínio intercalada baseada em LLM usando veRL
📚Uma lista selecionada de artigos incríveis sobre Inferência de LLM/VLM com Códigos: Flash-Attention, Paged-Attention, WINT8/4, Parallelism, etc.🎉
Extração de dados estruturados, chamada de instruções e fluxos de trabalho agentivos com ML, LLM e Vision LLM
Compartilhamento de conhecimento de AI Infra e prática de código: PyTorch, vLLM/SGLang, introdução ao framework slime/vime ⚡️, aceleração de desempenho 🚀, fundamentos de modelos grandes 🧠, software e hardware de IA 🔧, etc.
[NeurIPS'24] HippoRAG é um novo framework RAG inspirado na memória de longo prazo humana, que permite que LLMs integrem continuamente conhecimento de documentos externos. RAG + Grafos de Conhecimento + PageRank Personalizado.
Runtime em cascata para agentes de IA. Otimize custo, latência, qualidade e decisões de política dentro do loop do agente.
Toolkit de Inferência e Implantação de Alto Desempenho para LLMs e VLMs baseado no PaddlePaddle
Fundamentos de IA - arquitetura de GPU, programação CUDA, noções básicas de grandes modelos e conhecimentos relacionados a agentes de IA.
RamaLama é uma ferramenta de desenvolvimento de código aberto que simplifica o fornecimento local de modelos de IA de qualquer fonte e facilita o seu uso para inferência em produção, tudo através da linguagem familiar dos contêineres.
Execute modelos Qwen grandes rapidamente nas GPUs que você realmente possui. Qwen3.8-27B em uma única placa de 24 GB com vLLM: 127 tok/s para um único usuário (381 quando a resposta cita o prompt), cerca de 1.035 tok/s com 64 requisições simultâneas e contexto de 150k–262k. Patches do vLLM, pipeline de requantização e benchmarks.
Sistema de referência do vLLM para implantação em todo o cluster nativa de K8S com otimização de desempenho impulsionada pela comunidade
CodeGeeX4-ALL-9B, um modelo versátil para todos os cenários de desenvolvimento de software de IA, incluindo preenchimento de código, interpretador de código, pesquisa na web, chamada de função, perguntas e respostas em nível de repositório e muito mais.
Código, laboratórios e recursos para O'Reilly AI Systems Performance Engineering: otimização de GPU, treinamento distribuído, escalonamento de inferência e ajuste full-stack.
Garantir o formato de saída (Esquema JSON, Regex, etc.) de um modelo de linguagem
Perguntas Frequentes
Qual é o repositório de #vllm mais popular no GitHub?
O projeto de código aberto de #vllm mais bem classificado no GitHub é earendil-works/pi, com 123,140 estrelas. Kit de ferramentas para agentes de IA: API de LLM unificada, loop de agente, TUI, CLI de agente de codificação
Quais linguagens de programação são mais usadas nos repositórios de #vllm?
Entre os projetos de #vllm mais bem classificados no GitHub, as linguagens de programação mais comuns são Python, Jupyter Notebook, Go, TypeScript.
Como é calculada a classificação dos repositórios de #vllm?
Acompanhamos 133 repositórios ativos de código aberto marcados com #vllm (com mais de 500 estrelas), totalizando 554,542 estrelas e uma média de 4,169 estrelas por repositório. As classificações são atualizadas diariamente a partir da API do GitHub.