#model-serving Repositories
Entdecke 51 aktive Open-Source-GitHub-Repositories, die mit #model-serving getaggt sind und insgesamt 211,758 Sterne gesammelt haben (durchschnittlich 4,152 Sterne pro Projekt). Spitzenreiter in diesem Themenbereich ist vllm-project/vllm mit 97,302 Sternen.
Insgesamt 51 Repositories
Eine hochdurchsatzfähige und speichereffiziente Inferenz- und Serving-Engine für LLMs
Der einfachste Weg, AI-Apps und -Modelle zu hosten - Erstellen Sie Model Inference APIs, Job-Warteschlangen, LLM-Apps, Multi-Model-Pipelines und mehr!
Typsichere, verteilte Orchestrierung von Agenten, ML-Pipelines und Echtzeit-Inferenz auf Ihrem k8s – in reinem Python mit async/await sowie in weiteren Sprachen (Rust, Go und TypeScript)
Standardisierte verteilte generative und prädiktive KI-Inferenzplattform für skalierbare, Multi-Framework-Bereitstellung auf Kubernetes
In diesem Repository teile ich nützliche Notizen und Referenzen zum Bereitstellen von Deep-Learning-basierten Modellen in der Produktion.
LightLLM ist ein Python-basiertes Framework für die Inferenz und das Serving von LLMs (Large Language Models), das für sein leichtgewichtiges Design, seine einfache Skalierbarkeit und seine Hochgeschwindigkeitsleistung bekannt ist.
🚀 Tolles System für Machine Learning ⚡️ AI-Systempapiere und Branchenpraxis. ⚡️ System für Machine Learning, LLM (Large Language Model), GenAI (Generative AI). 🍻 OSDI, NSDI, SIGCOMM, SoCC, MLSys usw. 🗃️ Llama3, Mistral usw. 🧑💻 Video-Tutorials.
FEDML – Die einheitliche und skalierbare ML-Bibliothek für groß angelegtes verteiltes Training, Model Serving und Federated Learning. FEDML Launch, ein Cross-Cloud-Scheduler, ermöglicht ferner die Ausführung beliebiger KI-Jobs in jeder GPU-Cloud oder jedem On-Premise-Cluster. Auf dieser Bibliothek aufbauend, ist TensorOpera AI (https://TensorOpera.ai) Ihre generative KI-Plattform im großen Maßstab.
Multi-LoRA-Inferenzserver, der bis zu Tausende von feinabgestimmten LLMs skaliert
OpenLake ist eine Hochleistungs-Speicher-Engine für effiziente LLM-Inferenz und GPU-Training
Hochleistungs-Inferenzframework für große Sprachmodelle mit Schwerpunkt auf Effizienz, Flexibilität und Verfügbarkeit.
MLRun ist eine Open-Source-MLOps-Plattform zum schnellen Aufbau und Management kontinuierlicher ML-Anwendungen über ihren Lebenszyklus hinweg. MLRun integriert sich in Ihre Entwicklungsumgebung und CI/CD-Pipeline und automatisiert die Bereitstellung von Produktionsdaten, ML-Pipelines und Online-Anwendungen.
Jev-kompatibler API-Server für offene Entscheidungsmodelle. Ollama für Entscheidungsmodelle: 29 Modellfamilien (Laya, pplx-decider, Clef, Winnow, coba...) lokal herunterladen und ausführen oder hinter /v1/systemone selbst hosten. Das TypeSafe-SDK funktioniert unverändert: Basis-URL festlegen und ein offenes Modell auswählen. CLI, Desktop-App, Docker, MCP-Server und öffentlicher Benchmark.
Ein Open-Source-DevOps-Tool der CNCF zum Verpacken und Versionieren von KI/ML-Modellen, Datensätzen, Code und Konfigurationen in ein OCI-Artefakt.
📰 Lesenswertes: Publikationen und Blogs zu Speculative Decoding ⚡️
Alle Links, Bücher und Creator, die Sie verfolgen müssen, um auf dem Laufenden zu bleiben!
Ein skalierbarer Inferenz-Server für mit OpenVINO™ optimierte Modelle
Eine hochoptimierte LLM-Inferenzbeschleunigungs-Engine für Llama und seine Varianten.
Ein performantes ML-Modell-Serving-Framework, das dynamisches Batching und CPU/GPU-Pipelines bietet, um Ihre Rechenmaschine voll auszunutzen
Code für den Online-Kurs „Deployment von Machine-Learning-Modellen“
Reine Rust + CUDA LLM-Inferenz-Engine — kein PyTorch, OpenAI-kompatibel, bedient Qwen3 bis Kimi-K2
Ollama für klassische ML-Modelle. AOT-Compiler, der XGBoost, LightGBM, scikit-learn, CatBoost & ONNX-Modelle in nativen C99-Inferenzcode umwandelt. Ein Befehl zum Laden, ein Befehl zum Servieren. 336x schneller als Python-Inferenz.
FastAPI Skeleton App zur Bereitstellung von Machine-Learning-Modellen in Produktionsqualität.
Bewährte Verfahren für die Destillation großer Sprachmodelle.
Häufig gestellte Fragen
Welches ist das beliebteste #model-serving-Repository auf GitHub?
Das am höchsten eingestufte Open-Source-#model-serving-Projekt auf GitHub ist vllm-project/vllm mit 97,302 Sternen. Eine hochdurchsatzfähige und speichereffiziente Inferenz- und Serving-Engine für LLMs
Welche Programmiersprachen werden in #model-serving-Repositories am häufigsten verwendet?
Unter den am höchsten eingestuften #model-serving-Projekten auf GitHub sind Python, Go, Rust, Jupyter Notebook die am häufigsten verwendeten Programmiersprachen.
Wie wird das Ranking der #model-serving-Repositories berechnet?
Wir verfolgen 51 aktive Open-Source-Repositories, die mit #model-serving getaggt sind (500+ Sterne), mit insgesamt 211,758 Sternen und durchschnittlich 4,152 Sternen pro Repository. Die Rankings werden täglich über die GitHub-API aktualisiert.