Git Stars Git Stars

#inference-server Repositories

Entdecke 13 aktive Open-Source-GitHub-Repositories, die mit #inference-server getaggt sind und insgesamt 53,014 Sterne gesammelt haben (durchschnittlich 4,078 Sterne pro Projekt). Spitzenreiter in diesem Themenbereich ist jundot/omlx mit 23,831 Sternen.

13
Gesamtzahl der Repositories
53,014
Gesamtanzahl der Sterne
4,078
Durchschnittliche Sterne/Repo
Programmiersprachen: Python Rust C++

Insgesamt 13 Repositories

1
jundot/omlx

LLM-Inferenzserver mit kontinuierlichem Batching und SSD-Caching für Apple Silicon — gesteuert über die macOS-Menüleiste

jundot
⭐ 23,831 Python 👤 jundot User 🕐 Aktualisiert 2026-11-22 📅 Erstellt 2026-02-13
2
Michael-A-Kuykendall/shimmy

⚡ WebGPU-Inferenz-Engine in reinem Rust — OpenAI-API-kompatibel, GGUF-nativ, läuft auf jeder GPU. Kein Python. Kein llama.cpp. Einzelne Binärdatei.

Michael-A-Kuykendall
⭐ 6,022 Rust 👤 Michael-A-Kuykendall User 🕐 Aktualisiert 2026-11-12 📅 Erstellt 2025-08-28
3
raullenchai/Rapid-MLX

Rapid-MLX ist ein Open-Source-LLM-Inferenzserver (Apache 2.0) für Apple Silicon, kompatibel mit OpenAI und Anthropic, auf MLX aufgebaut und auf zuverlässige Tool-Aufrufe für Coding-Agenten ausgerichtet. Mit denselben Gewichten bis zu 4× schneller als Apples MLX (mlx-lm).

raullenchai
⭐ 4,172 Python 👤 raullenchai User 🕐 Aktualisiert 2026-11-22 📅 Erstellt 2026-02-25
4
superlinked/sie

Open-Source-Inferenzserver und Produktionscluster für alle Modelle, die Ihr Agent benötigt.

superlinked
⭐ 3,534 Python 👤 superlinked Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2023-11-07
5
containers/ramalama

RamaLama ist ein Open-Source-Entwicklertool, das das lokale Bereitstellen von KI-Modellen aus beliebigen Quellen vereinfacht und deren Verwendung für Inferenzen in der Produktion erleichtert, und das alles über die vertraute Sprache von Containern.

containers
⭐ 3,118 Python 👤 containers Organization 🕐 Aktualisiert 2026-11-14 📅 Erstellt 2024-07-24
6
roboflow/inference

Verwandeln Sie jeden Computer oder jedes Edge-Gerät in ein Kommandozentrum für Ihre Computer-Vision-Projekte.

roboflow
⭐ 2,499 Python 👤 roboflow Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2023-07-31
7
gpt-omni/mini-omni2

Auf dem Weg zu Open-Source GPT-4o mit Sprach-, Bild- und Duplex-Funktionen.

gpt-omni
⭐ 1,896 Python 👤 gpt-omni Organization 🕐 Aktualisiert 2025-01-16 📅 Erstellt 2024-10-14
8
LlamaEdge/LlamaEdge

Der einfachste und schnellste Weg, angepasste und fein abgestimmte LLMs lokal oder am Edge auszuführen

LlamaEdge
⭐ 1,665 Rust 👤 LlamaEdge Organization 🕐 Aktualisiert 2026-02-08 📅 Erstellt 2023-10-09
9
waybarrios/vllm-mlx

Hochleistungs-LLM-Inferenzserver, kompatibel mit OpenAI und Anthropic, für Apple Silicon. Natives MLX, kontinuierliches Batching, multimodale Modelle, MCP-Toolaufrufe und Claude-Code-Unterstützung.

waybarrios
⭐ 1,657 Python 👤 waybarrios User 🕐 Aktualisiert 2026-11-07 📅 Erstellt 2025-12-06
10
ollaya-dev/ollaya

Jev-kompatibler API-Server für offene Entscheidungsmodelle. Ollama für Entscheidungsmodelle: 29 Modellfamilien (Laya, pplx-decider, Clef, Winnow, coba...) lokal herunterladen und ausführen oder hinter /v1/systemone selbst hosten. Das TypeSafe-SDK funktioniert unverändert: Basis-URL festlegen und ein offenes Modell auswählen. CLI, Desktop-App, Docker, MCP-Server und öffentlicher Benchmark.

ollaya-dev
⭐ 1,474 Rust 👤 ollaya-dev Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2026-09-23
11
basetenlabs/truss

Der einfachste Weg, KI/ML-Modelle in der Produktion bereitzustellen

basetenlabs
⭐ 1,236 Python 👤 basetenlabs Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2022-07-06
12
aiptimizer/TurboOCR

TurboOCR, >200 img/s OmnidocBench. TensorRT FP16, PP-OCRv6, HTTP + gRPC

aiptimizer
⭐ 1,162 C++ 👤 aiptimizer Organization 🕐 Aktualisiert 2026-09-27 📅 Erstellt 2026-03-20
13
pipeless-ai/pipeless

Ein Open-Source-Computer-Vision-Framework zum Erstellen und Bereitstellen von Apps in wenigen Minuten

pipeless-ai
⭐ 794 Rust 👤 pipeless-ai Organization 🕐 Aktualisiert 2024-05-08 📅 Erstellt 2023-07-21

Häufig gestellte Fragen

1

Welches ist das beliebteste #inference-server-Repository auf GitHub?

Das am höchsten eingestufte Open-Source-#inference-server-Projekt auf GitHub ist jundot/omlx mit 23,831 Sternen. LLM-Inferenzserver mit kontinuierlichem Batching und SSD-Caching für Apple Silicon — gesteuert über die macOS-Menüleiste

2

Welche Programmiersprachen werden in #inference-server-Repositories am häufigsten verwendet?

Unter den am höchsten eingestuften #inference-server-Projekten auf GitHub sind Python, Rust, C++ die am häufigsten verwendeten Programmiersprachen.

3

Wie wird das Ranking der #inference-server-Repositories berechnet?

Wir verfolgen 13 aktive Open-Source-Repositories, die mit #inference-server getaggt sind (500+ Sterne), mit insgesamt 53,014 Sternen und durchschnittlich 4,078 Sternen pro Repository. Die Rankings werden täglich über die GitHub-API aktualisiert.