#inference-server Repositories
Entdecke 13 aktive Open-Source-GitHub-Repositories, die mit #inference-server getaggt sind und insgesamt 53,014 Sterne gesammelt haben (durchschnittlich 4,078 Sterne pro Projekt). Spitzenreiter in diesem Themenbereich ist jundot/omlx mit 23,831 Sternen.
Insgesamt 13 Repositories
LLM-Inferenzserver mit kontinuierlichem Batching und SSD-Caching für Apple Silicon — gesteuert über die macOS-Menüleiste
⚡ WebGPU-Inferenz-Engine in reinem Rust — OpenAI-API-kompatibel, GGUF-nativ, läuft auf jeder GPU. Kein Python. Kein llama.cpp. Einzelne Binärdatei.
Rapid-MLX ist ein Open-Source-LLM-Inferenzserver (Apache 2.0) für Apple Silicon, kompatibel mit OpenAI und Anthropic, auf MLX aufgebaut und auf zuverlässige Tool-Aufrufe für Coding-Agenten ausgerichtet. Mit denselben Gewichten bis zu 4× schneller als Apples MLX (mlx-lm).
Open-Source-Inferenzserver und Produktionscluster für alle Modelle, die Ihr Agent benötigt.
RamaLama ist ein Open-Source-Entwicklertool, das das lokale Bereitstellen von KI-Modellen aus beliebigen Quellen vereinfacht und deren Verwendung für Inferenzen in der Produktion erleichtert, und das alles über die vertraute Sprache von Containern.
Verwandeln Sie jeden Computer oder jedes Edge-Gerät in ein Kommandozentrum für Ihre Computer-Vision-Projekte.
Der einfachste und schnellste Weg, angepasste und fein abgestimmte LLMs lokal oder am Edge auszuführen
Hochleistungs-LLM-Inferenzserver, kompatibel mit OpenAI und Anthropic, für Apple Silicon. Natives MLX, kontinuierliches Batching, multimodale Modelle, MCP-Toolaufrufe und Claude-Code-Unterstützung.
Jev-kompatibler API-Server für offene Entscheidungsmodelle. Ollama für Entscheidungsmodelle: 29 Modellfamilien (Laya, pplx-decider, Clef, Winnow, coba...) lokal herunterladen und ausführen oder hinter /v1/systemone selbst hosten. Das TypeSafe-SDK funktioniert unverändert: Basis-URL festlegen und ein offenes Modell auswählen. CLI, Desktop-App, Docker, MCP-Server und öffentlicher Benchmark.
Ein Open-Source-Computer-Vision-Framework zum Erstellen und Bereitstellen von Apps in wenigen Minuten
Häufig gestellte Fragen
Welches ist das beliebteste #inference-server-Repository auf GitHub?
Das am höchsten eingestufte Open-Source-#inference-server-Projekt auf GitHub ist jundot/omlx mit 23,831 Sternen. LLM-Inferenzserver mit kontinuierlichem Batching und SSD-Caching für Apple Silicon — gesteuert über die macOS-Menüleiste
Welche Programmiersprachen werden in #inference-server-Repositories am häufigsten verwendet?
Unter den am höchsten eingestuften #inference-server-Projekten auf GitHub sind Python, Rust, C++ die am häufigsten verwendeten Programmiersprachen.
Wie wird das Ranking der #inference-server-Repositories berechnet?
Wir verfolgen 13 aktive Open-Source-Repositories, die mit #inference-server getaggt sind (500+ Sterne), mit insgesamt 53,014 Sternen und durchschnittlich 4,078 Sternen pro Repository. Die Rankings werden täglich über die GitHub-API aktualisiert.