Git Stars Git Stars

#inference-server Repositórios

Descubra 13 repositórios ativos de código aberto no GitHub marcados com #inference-server, acumulando um total de 53,014 estrelas (uma média de 4,078 por projeto). O líder deste tópico é jundot/omlx, com 23,831 estrelas.

13
Total de Repositórios
53,014
Total de estrelas
4,078
Média de Estrelas/Repositório
Linguagens de programação: Python Rust C++

13 repositórios no total

1
jundot/omlx

Servidor de inferência LLM com batching contínuo e cache SSD para Apple Silicon — gerenciado a partir da barra de menu do macOS

jundot
⭐ 23,831 Python 👤 jundot User 🕐 Atualizado 2026-11-22 📅 Criado 2026-02-13
2
Michael-A-Kuykendall/shimmy

⚡ Motor de inferência WebGPU em Rust puro — Compatível com a API da OpenAI, nativo para GGUF, roda em qualquer GPU. Sem Python. Sem llama.cpp. Binário único.

Michael-A-Kuykendall
⭐ 6,022 Rust 👤 Michael-A-Kuykendall User 🕐 Atualizado 2026-11-12 📅 Criado 2025-08-28
3
raullenchai/Rapid-MLX

Rapid-MLX é um servidor de inferência de LLM de código aberto (Apache 2.0) para Apple Silicon, compatível com OpenAI e Anthropic, desenvolvido com base no MLX e focado em chamadas de ferramentas confiáveis para agentes de programação. Até 4 vezes mais rápido que o MLX (mlx-lm) da Apple usando os mesmos pesos.

raullenchai
⭐ 4,172 Python 👤 raullenchai User 🕐 Atualizado 2026-11-22 📅 Criado 2026-02-25
4
superlinked/sie

Servidor de inferência de código aberto e cluster de produção para todos os modelos que seu agente precisa.

superlinked
⭐ 3,534 Python 👤 superlinked Organization 🕐 Atualizado 2026-11-20 📅 Criado 2023-11-07
5
containers/ramalama

RamaLama é uma ferramenta de desenvolvimento de código aberto que simplifica o fornecimento local de modelos de IA de qualquer fonte e facilita o seu uso para inferência em produção, tudo através da linguagem familiar dos contêineres.

containers
⭐ 3,118 Python 👤 containers Organization 🕐 Atualizado 2026-11-14 📅 Criado 2024-07-24
6
roboflow/inference

Transforme qualquer computador ou dispositivo de borda em um centro de comando para seus projetos de visão computacional.

roboflow
⭐ 2,499 Python 👤 roboflow Organization 🕐 Atualizado 2026-11-21 📅 Criado 2023-07-31
7
gpt-omni/mini-omni2

Rumo ao GPT-4o de código aberto, com capacidades de visão, fala e duplex.

gpt-omni
⭐ 1,896 Python 👤 gpt-omni Organization 🕐 Atualizado 2025-01-16 📅 Criado 2024-10-14
8
LlamaEdge/LlamaEdge

A maneira mais fácil e rápida de executar LLMs personalizados e ajustados localmente ou na borda

LlamaEdge
⭐ 1,665 Rust 👤 LlamaEdge Organization 🕐 Atualizado 2026-02-08 📅 Criado 2023-10-09
9
waybarrios/vllm-mlx

Servidor de inferência de LLM de alto desempenho compatível com OpenAI e Anthropic para Apple Silicon. MLX nativo, processamento em lote contínuo, modelos multimodais, chamadas de ferramentas MCP e suporte a Claude Code.

waybarrios
⭐ 1,657 Python 👤 waybarrios User 🕐 Atualizado 2026-11-07 📅 Criado 2025-12-06
10
ollaya-dev/ollaya

Servidor de API compatível com Jev para modelos abertos de tomada de decisão. Ollama para modelos de decisão: baixe e execute localmente 29 famílias de modelos (Laya, pplx-decider, Clef, Winnow, coba...) ou hospede-os por conta própria atrás de /v1/systemone. O SDK TypeSafe funciona sem alterações: defina a URL base e escolha um modelo aberto. CLI, aplicativo para desktop, Docker, servidor MCP e benchmark público.

ollaya-dev
⭐ 1,474 Rust 👤 ollaya-dev Organization 🕐 Atualizado 2026-11-21 📅 Criado 2026-09-23
11
basetenlabs/truss

A maneira mais simples de servir modelos de IA/ML em produção

basetenlabs
⭐ 1,236 Python 👤 basetenlabs Organization 🕐 Atualizado 2026-11-20 📅 Criado 2022-07-06
12
aiptimizer/TurboOCR

TurboOCR, >200 img/s OmnidocBench. TensorRT FP16, PP-OCRv6, HTTP + gRPC

aiptimizer
⭐ 1,162 C++ 👤 aiptimizer Organization 🕐 Atualizado 2026-09-27 📅 Criado 2026-03-20
13
pipeless-ai/pipeless

Um framework de visão computacional de código aberto para construir e implantar aplicativos em minutos

pipeless-ai
⭐ 794 Rust 👤 pipeless-ai Organization 🕐 Atualizado 2024-05-08 📅 Criado 2023-07-21

Perguntas Frequentes

1

Qual é o repositório de #inference-server mais popular no GitHub?

O projeto de código aberto de #inference-server mais bem classificado no GitHub é jundot/omlx, com 23,831 estrelas. Servidor de inferência LLM com batching contínuo e cache SSD para Apple Silicon — gerenciado a partir da barra de menu do macOS

2

Quais linguagens de programação são mais usadas nos repositórios de #inference-server?

Entre os projetos de #inference-server mais bem classificados no GitHub, as linguagens de programação mais comuns são Python, Rust, C++.

3

Como é calculada a classificação dos repositórios de #inference-server?

Acompanhamos 13 repositórios ativos de código aberto marcados com #inference-server (com mais de 500 estrelas), totalizando 53,014 estrelas e uma média de 4,078 estrelas por repositório. As classificações são atualizadas diariamente a partir da API do GitHub.