#inference-server Repositórios
Descubra 13 repositórios ativos de código aberto no GitHub marcados com #inference-server, acumulando um total de 53,014 estrelas (uma média de 4,078 por projeto). O líder deste tópico é jundot/omlx, com 23,831 estrelas.
13 repositórios no total
Servidor de inferência LLM com batching contínuo e cache SSD para Apple Silicon — gerenciado a partir da barra de menu do macOS
⚡ Motor de inferência WebGPU em Rust puro — Compatível com a API da OpenAI, nativo para GGUF, roda em qualquer GPU. Sem Python. Sem llama.cpp. Binário único.
Rapid-MLX é um servidor de inferência de LLM de código aberto (Apache 2.0) para Apple Silicon, compatível com OpenAI e Anthropic, desenvolvido com base no MLX e focado em chamadas de ferramentas confiáveis para agentes de programação. Até 4 vezes mais rápido que o MLX (mlx-lm) da Apple usando os mesmos pesos.
Servidor de inferência de código aberto e cluster de produção para todos os modelos que seu agente precisa.
RamaLama é uma ferramenta de desenvolvimento de código aberto que simplifica o fornecimento local de modelos de IA de qualquer fonte e facilita o seu uso para inferência em produção, tudo através da linguagem familiar dos contêineres.
Transforme qualquer computador ou dispositivo de borda em um centro de comando para seus projetos de visão computacional.
A maneira mais fácil e rápida de executar LLMs personalizados e ajustados localmente ou na borda
Servidor de inferência de LLM de alto desempenho compatível com OpenAI e Anthropic para Apple Silicon. MLX nativo, processamento em lote contínuo, modelos multimodais, chamadas de ferramentas MCP e suporte a Claude Code.
Servidor de API compatível com Jev para modelos abertos de tomada de decisão. Ollama para modelos de decisão: baixe e execute localmente 29 famílias de modelos (Laya, pplx-decider, Clef, Winnow, coba...) ou hospede-os por conta própria atrás de /v1/systemone. O SDK TypeSafe funciona sem alterações: defina a URL base e escolha um modelo aberto. CLI, aplicativo para desktop, Docker, servidor MCP e benchmark público.
Um framework de visão computacional de código aberto para construir e implantar aplicativos em minutos
Perguntas Frequentes
Qual é o repositório de #inference-server mais popular no GitHub?
O projeto de código aberto de #inference-server mais bem classificado no GitHub é jundot/omlx, com 23,831 estrelas. Servidor de inferência LLM com batching contínuo e cache SSD para Apple Silicon — gerenciado a partir da barra de menu do macOS
Quais linguagens de programação são mais usadas nos repositórios de #inference-server?
Entre os projetos de #inference-server mais bem classificados no GitHub, as linguagens de programação mais comuns são Python, Rust, C++.
Como é calculada a classificação dos repositórios de #inference-server?
Acompanhamos 13 repositórios ativos de código aberto marcados com #inference-server (com mais de 500 estrelas), totalizando 53,014 estrelas e uma média de 4,078 estrelas por repositório. As classificações são atualizadas diariamente a partir da API do GitHub.