Git Stars Git Stars

#inference-server Repositorios

Descubre 13 repositorios activos de código abierto de GitHub etiquetados con #inference-server, que acumulan 53,014 estrellas en total (una media de 4,078 estrellas por proyecto). El líder de este tema es jundot/omlx, con 23,831 estrellas.

13
Total de Repositorios
53,014
Total de estrellas
4,078
Promedio de Estrellas/Repo
Lenguajes de programación: Python Rust C++

13 repositorios en total

1
jundot/omlx

Servidor de inferencia LLM con lotes continuos y caché SSD para Apple Silicon — gestionado desde la barra de menú de macOS

jundot
⭐ 23,831 Python 👤 jundot User 🕐 Actualizado 2026-11-22 📅 Creado 2026-02-13
2
Michael-A-Kuykendall/shimmy

⚡ Motor de inferencia WebGPU en Rust puro — Compatible con la API de OpenAI, nativo para GGUF, funciona en cualquier GPU. Sin Python. Sin llama.cpp. Un solo binario.

Michael-A-Kuykendall
⭐ 6,022 Rust 👤 Michael-A-Kuykendall User 🕐 Actualizado 2026-11-12 📅 Creado 2025-08-28
3
raullenchai/Rapid-MLX

Rapid-MLX es un servidor de inferencia de LLM de código abierto (Apache 2.0) para Apple Silicon, compatible con OpenAI y Anthropic, desarrollado sobre MLX y centrado en ofrecer llamadas a herramientas fiables para agentes de programación. Hasta 4 veces más rápido que MLX (mlx-lm) de Apple con los mismos pesos.

raullenchai
⭐ 4,172 Python 👤 raullenchai User 🕐 Actualizado 2026-11-22 📅 Creado 2026-02-25
4
superlinked/sie

Servidor de inferencia de código abierto y clúster de producción para todos los modelos que necesita su agente.

superlinked
⭐ 3,534 Python 👤 superlinked Organization 🕐 Actualizado 2026-11-20 📅 Creado 2023-11-07
5
containers/ramalama

RamaLama es una herramienta de desarrollo de código abierto que simplifica la provisión local de modelos de IA desde cualquier fuente y facilita su uso para inferencia en producción, todo a través del familiar lenguaje de los contenedores.

containers
⭐ 3,118 Python 👤 containers Organization 🕐 Actualizado 2026-11-14 📅 Creado 2024-07-24
6
roboflow/inference

Convierte cualquier ordenador o dispositivo perimetral en un centro de mando para tus proyectos de visión por computadora.

roboflow
⭐ 2,499 Python 👤 roboflow Organization 🕐 Actualizado 2026-11-21 📅 Creado 2023-07-31
7
gpt-omni/mini-omni2

Hacia GPT-4o de código abierto con capacidades de Visión, Voz y Dúplex.

gpt-omni
⭐ 1,896 Python 👤 gpt-omni Organization 🕐 Actualizado 2025-01-16 📅 Creado 2024-10-14
8
LlamaEdge/LlamaEdge

La forma más fácil y rápida de ejecutar LLM personalizados y ajustados localmente o en el borde

LlamaEdge
⭐ 1,665 Rust 👤 LlamaEdge Organization 🕐 Actualizado 2026-02-08 📅 Creado 2023-10-09
9
waybarrios/vllm-mlx

Servidor de inferencia de LLM de alto rendimiento compatible con OpenAI y Anthropic para Apple Silicon. MLX nativo, procesamiento por lotes continuo, modelos multimodales, llamadas a herramientas MCP y soporte para Claude Code.

waybarrios
⭐ 1,657 Python 👤 waybarrios User 🕐 Actualizado 2026-11-07 📅 Creado 2025-12-06
10
ollaya-dev/ollaya

Servidor API compatible con Jev para modelos de decisión abiertos. Ollama para modelos de decisión: descarga y ejecuta localmente 29 familias de modelos (Laya, pplx-decider, Clef, Winnow, coba...) o alójalos tú mismo detrás de /v1/systemone. El SDK TypeSafe funciona sin cambios: configura su URL base y elige un modelo abierto. CLI, aplicación de escritorio, Docker, servidor MCP y benchmark público.

ollaya-dev
⭐ 1,474 Rust 👤 ollaya-dev Organization 🕐 Actualizado 2026-11-21 📅 Creado 2026-09-23
11
basetenlabs/truss

La forma más sencilla de servir modelos de IA/ML en producción

basetenlabs
⭐ 1,236 Python 👤 basetenlabs Organization 🕐 Actualizado 2026-11-20 📅 Creado 2022-07-06
12
aiptimizer/TurboOCR

TurboOCR, >200 img/s OmnidocBench. TensorRT FP16, PP-OCRv6, HTTP + gRPC

aiptimizer
⭐ 1,162 C++ 👤 aiptimizer Organization 🕐 Actualizado 2026-09-27 📅 Creado 2026-03-20
13
pipeless-ai/pipeless

Un marco de visión por computadora de código abierto para crear y desplegar aplicaciones en minutos

pipeless-ai
⭐ 794 Rust 👤 pipeless-ai Organization 🕐 Actualizado 2024-05-08 📅 Creado 2023-07-21

Preguntas frecuentes

1

¿Cuál es el repositorio de #inference-server más popular en GitHub?

El proyecto de código abierto de #inference-server mejor posicionado en GitHub es jundot/omlx, con 23,831 estrellas. Servidor de inferencia LLM con lotes continuos y caché SSD para Apple Silicon — gestionado desde la barra de menú de macOS

2

¿Qué lenguajes de programación se utilizan más en los repositorios de #inference-server?

Entre los proyectos de #inference-server mejor posicionados en GitHub, los lenguajes de programación más comunes son Python, Rust, C++.

3

¿Cómo se calcula la clasificación de los repositorios de #inference-server?

Seguimos 13 repositorios activos de código abierto etiquetados con #inference-server (500+ estrellas), que suman un total de 53,014 estrellas, con una media de 4,078 estrellas por repositorio. Las clasificaciones se actualizan diariamente a partir de la API de GitHub.