Git Stars Git Stars

#model-serving Repositories

Entdecke 51 aktive Open-Source-GitHub-Repositories, die mit #model-serving getaggt sind und insgesamt 211,758 Sterne gesammelt haben (durchschnittlich 4,152 Sterne pro Projekt). Spitzenreiter in diesem Themenbereich ist vllm-project/vllm mit 97,302 Sternen.

51
Gesamtzahl der Repositories
211,758
Gesamtanzahl der Sterne
4,152
Durchschnittliche Sterne/Repo

Insgesamt 51 Repositories

1
vllm-project/vllm

Eine hochdurchsatzfähige und speichereffiziente Inferenz- und Serving-Engine für LLMs

vllm-project
⭐ 97,302 Python 👤 vllm-project Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2023-02-09
2
bentoml/BentoML

Der einfachste Weg, AI-Apps und -Modelle zu hosten - Erstellen Sie Model Inference APIs, Job-Warteschlangen, LLM-Apps, Multi-Model-Pipelines und mehr!

bentoml
⭐ 8,944 Python 👤 bentoml Organization 🕐 Aktualisiert 2026-11-17 📅 Erstellt 2019-04-02
3
vllm-project/vllm-omni

Ein Framework für effiziente Modellinferenz mit Omni-Modalitäts-Modellen

vllm-project
⭐ 7,884 Python 👤 vllm-project Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2025-09-11
4
flyteorg/flyte

Typsichere, verteilte Orchestrierung von Agenten, ML-Pipelines und Echtzeit-Inferenz auf Ihrem k8s – in reinem Python mit async/await sowie in weiteren Sprachen (Rust, Go und TypeScript)

flyteorg
⭐ 7,801 Go 👤 flyteorg Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2019-10-21
6
kserve/kserve

Standardisierte verteilte generative und prädiktive KI-Inferenzplattform für skalierbare, Multi-Framework-Bereitstellung auf Kubernetes

kserve
⭐ 6,253 Go 👤 kserve Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2019-03-27
7
beclab/Olares

Open-Source-Personal-Cloud-Betriebssystem für Always-On-Agenten

beclab
⭐ 5,373 Go 👤 beclab Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2024-04-29
8
ahkarami/Deep-Learning-in-Production

In diesem Repository teile ich nützliche Notizen und Referenzen zum Bereitstellen von Deep-Learning-basierten Modellen in der Produktion.

ahkarami
⭐ 4,380 👤 ahkarami User 🕐 Aktualisiert 2024-11-09 📅 Erstellt 2018-05-03
9
ModelTC/LightLLM

LightLLM ist ein Python-basiertes Framework für die Inferenz und das Serving von LLMs (Large Language Models), das für sein leichtgewichtiges Design, seine einfache Skalierbarkeit und seine Hochgeschwindigkeitsleistung bekannt ist.

ModelTC
⭐ 4,368 Python 👤 ModelTC Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2023-07-22
10
HuaizhengZhang/AI-Infra-from-Zero-to-Hero

🚀 Tolles System für Machine Learning ⚡️ AI-Systempapiere und Branchenpraxis. ⚡️ System für Machine Learning, LLM (Large Language Model), GenAI (Generative AI). 🍻 OSDI, NSDI, SIGCOMM, SoCC, MLSys usw. 🗃️ Llama3, Mistral usw. 🧑‍💻 Video-Tutorials.

HuaizhengZhang
⭐ 4,224 👤 HuaizhengZhang User 🕐 Aktualisiert 2025-07-25 📅 Erstellt 2019-01-07
11
FedML-AI/FedML

FEDML – Die einheitliche und skalierbare ML-Bibliothek für groß angelegtes verteiltes Training, Model Serving und Federated Learning. FEDML Launch, ein Cross-Cloud-Scheduler, ermöglicht ferner die Ausführung beliebiger KI-Jobs in jeder GPU-Cloud oder jedem On-Premise-Cluster. Auf dieser Bibliothek aufbauend, ist TensorOpera AI (https://TensorOpera.ai) Ihre generative KI-Plattform im großen Maßstab.

FedML-AI
⭐ 4,068 Python 👤 FedML-AI Organization 🕐 Aktualisiert 2026-11-12 📅 Erstellt 2020-07-21
12
predibase/lorax

Multi-LoRA-Inferenzserver, der bis zu Tausende von feinabgestimmten LLMs skaliert

predibase
⭐ 3,836 Python 👤 predibase Organization 🕐 Aktualisiert 2026-05-28 📅 Erstellt 2023-10-20
13
vllm-project/vllm-ascend

Von der Community gepflegtes Hardware-Plugin für vLLM auf Huawei Ascend

vllm-project
⭐ 3,128 Python 👤 vllm-project Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2025-01-29
14
openlake-project/openlake

OpenLake ist eine Hochleistungs-Speicher-Engine für effiziente LLM-Inferenz und GPU-Training

openlake-project
⭐ 3,089 Rust 👤 openlake-project Organization 🕐 Aktualisiert 2026-11-19 📅 Erstellt 2026-04-27
15
thu-pacman/chitu

Hochleistungs-Inferenzframework für große Sprachmodelle mit Schwerpunkt auf Effizienz, Flexibilität und Verfügbarkeit.

thu-pacman
⭐ 3,005 Python 👤 thu-pacman Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2025-02-20
16
AmberLJC/LLMSys-PaperList

Liste der Veröffentlichungen zu Systemen großer Sprachmodelle (LLMs)

AmberLJC
⭐ 2,332 Python 👤 AmberLJC User 🕐 Aktualisiert 2026-10-20 📅 Erstellt 2023-06-06
17
tensorchord/envd

🏕️ Reproduzierbare Entwicklungsumgebung für Menschen und Agenten

tensorchord
⭐ 2,249 Go 👤 tensorchord Organization 🕐 Aktualisiert 2026-11-19 📅 Erstellt 2022-04-11
18
microsoft/aici

AICI: Prompts als (Wasm) Programme

microsoft
⭐ 2,077 Rust 👤 microsoft Organization 🕐 Aktualisiert 2025-01-22 📅 Erstellt 2023-09-26
19
tile-ai/TileRT

Kachelbasiertes Runtime für LLM-Inferenz mit extrem niedriger Latenz

tile-ai
⭐ 1,906 Python 👤 tile-ai Organization 🕐 Aktualisiert 2026-09-24 📅 Erstellt 2025-11-12
20
sgl-project/sglang-omni

Hochleistungs-Laufzeitumgebung für interaktive Superintelligenzsysteme

sgl-project
⭐ 1,882 Python 👤 sgl-project Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2026-01-07
21
janhq/awesome-local-ai

Ein beeindruckendes Repository lokaler KI-Tools

janhq
⭐ 1,791 👤 janhq Organization 🕐 Aktualisiert 2024-11-13 📅 Erstellt 2023-09-06
22
mlrun/mlrun

MLRun ist eine Open-Source-MLOps-Plattform zum schnellen Aufbau und Management kontinuierlicher ML-Anwendungen über ihren Lebenszyklus hinweg. MLRun integriert sich in Ihre Entwicklungsumgebung und CI/CD-Pipeline und automatisiert die Bereitstellung von Produktionsdaten, ML-Pipelines und Online-Anwendungen.

mlrun
⭐ 1,703 Python 👤 mlrun Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2019-09-01
23
ollaya-dev/ollaya

Jev-kompatibler API-Server für offene Entscheidungsmodelle. Ollama für Entscheidungsmodelle: 29 Modellfamilien (Laya, pplx-decider, Clef, Winnow, coba...) lokal herunterladen und ausführen oder hinter /v1/systemone selbst hosten. Das TypeSafe-SDK funktioniert unverändert: Basis-URL festlegen und ein offenes Modell auswählen. CLI, Desktop-App, Docker, MCP-Server und öffentlicher Benchmark.

ollaya-dev
⭐ 1,473 Rust 👤 ollaya-dev Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2026-09-23
24
kitops-ml/kitops

Ein Open-Source-DevOps-Tool der CNCF zum Verpacken und Versionieren von KI/ML-Modellen, Datensätzen, Code und Konfigurationen in ein OCI-Artefakt.

kitops-ml
⭐ 1,451 Go 👤 kitops-ml Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2024-02-02
25
alibaba/rtp-llm

RTP-LLM: Alibabas Hochleistungs-LLM-Inferenz-Engine für diverse Anwendungen.

alibaba
⭐ 1,402 Python 👤 alibaba Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2023-12-27
26
hemingkx/SpeculativeDecodingPapers

📰 Lesenswertes: Publikationen und Blogs zu Speculative Decoding ⚡️

hemingkx
⭐ 1,309 👤 hemingkx User 🕐 Aktualisiert 2026-06-27 📅 Erstellt 2023-09-20
27
logicalclocks/hopsworks

Hopsworks - Datenintensive KI-Plattform mit Feature Store

logicalclocks
⭐ 1,299 Java 👤 logicalclocks Organization 🕐 Aktualisiert 2025-02-10 📅 Erstellt 2018-07-26
28
DataExpert-io/ai-engineer-handbook

Alle Links, Bücher und Creator, die Sie verfolgen müssen, um auf dem Laufenden zu bleiben!

DataExpert-io
⭐ 1,261 👤 DataExpert-io Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2026-02-16
29
basetenlabs/truss

Der einfachste Weg, KI/ML-Modelle in der Produktion bereitzustellen

basetenlabs
⭐ 1,236 Python 👤 basetenlabs Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2022-07-06
30
gpu-mode/awesomeMLSys

Eine ML-System-Onboarding-Liste

gpu-mode
⭐ 1,154 👤 gpu-mode Organization 🕐 Aktualisiert 2026-02-19 📅 Erstellt 2024-05-06
31
efeslab/Nanoflow

Ein durchsatzorientierter Hochleistungs-Serving-Framework für LLMs

efeslab
⭐ 978 Jupyter Notebook 👤 efeslab Organization 🕐 Aktualisiert 2026-03-29 📅 Erstellt 2024-08-19
32
openvinotoolkit/model_server

Ein skalierbarer Inferenz-Server für mit OpenVINO™ optimierte Modelle

openvinotoolkit
⭐ 961 C++ 👤 openvinotoolkit Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2018-09-26
33
triton-inference-server/tensorrtllm_backend

Das Triton TensorRT-LLM Backend

triton-inference-server
⭐ 944 👤 triton-inference-server Organization 🕐 Aktualisiert 2026-11-02 📅 Erstellt 2023-09-12
34
replicate/replicate-python

Python-Client für Replicate

replicate
⭐ 909 Python 👤 replicate Organization 🕐 Aktualisiert 2025-08-26 📅 Erstellt 2022-05-11
35
zhihu/ZhiLight

Eine hochoptimierte LLM-Inferenzbeschleunigungs-Engine für Llama und seine Varianten.

zhihu
⭐ 906 C++ 👤 zhihu Organization 🕐 Aktualisiert 2026-03-18 📅 Erstellt 2024-12-06
36
mosecorg/mosec

Ein performantes ML-Modell-Serving-Framework, das dynamisches Batching und CPU/GPU-Pipelines bietet, um Ihre Rechenmaschine voll auszunutzen

mosecorg
⭐ 905 Python 👤 mosecorg Organization 🕐 Aktualisiert 2026-11-02 📅 Erstellt 2021-03-13
37
trainindata/deploying-machine-learning-models

Code für den Online-Kurs „Deployment von Machine-Learning-Modellen“

trainindata
⭐ 879 Jupyter Notebook 👤 trainindata Organization 🕐 Aktualisiert 2024-08-20 📅 Erstellt 2019-01-09
38
InternLM/Intern-S1

Ein wissenschaftliches multimodales Basismodell

InternLM
⭐ 876 👤 InternLM Organization 🕐 Aktualisiert 2026-09-13 📅 Erstellt 2025-07-25
39
bentoml/Yatai

Modellbereitstellung im großen Maßstab auf Kubernetes 🦄️

bentoml
⭐ 843 TypeScript 👤 bentoml Organization 🕐 Aktualisiert 2026-05-30 📅 Erstellt 2021-07-30
40
Tejas-TA/predikit

Die fehlende Brücke zwischen deinen ML-Modellen und deinen KI-Agenten.

Tejas-TA
⭐ 840 Python 👤 Tejas-TA User 🕐 Aktualisiert 2026-10-28 📅 Erstellt 2026-05-25
41
pegainfer-project/pegainfer

Reine Rust + CUDA LLM-Inferenz-Engine — kein PyTorch, OpenAI-kompatibel, bedient Qwen3 bis Kimi-K2

pegainfer-project
⭐ 748 Rust 👤 pegainfer-project Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2026-02-17
42
abhishekkrthakur
⭐ 728 Python 👤 abhishekkrthakur User 🕐 Aktualisiert 2024-09-14 📅 Erstellt 2021-10-26
43
ServerlessLLM/ServerlessLLM

Serverless LLM-Bereitstellung für jedermann.

ServerlessLLM
⭐ 720 Python 👤 ServerlessLLM Organization 🕐 Aktualisiert 2026-09-04 📅 Erstellt 2024-01-23
44
kossisoroyce/timber

Ollama für klassische ML-Modelle. AOT-Compiler, der XGBoost, LightGBM, scikit-learn, CatBoost & ONNX-Modelle in nativen C99-Inferenzcode umwandelt. Ein Befehl zum Laden, ein Befehl zum Servieren. 336x schneller als Python-Inferenz.

kossisoroyce
⭐ 692 Python 👤 kossisoroyce User 🕐 Aktualisiert 2026-04-16 📅 Erstellt 2026-02-27
46
mlfoundations/evalchemy

Automatische Auswertungen für LLMs

mlfoundations
⭐ 617 HTML 👤 mlfoundations Organization 🕐 Aktualisiert 2026-11-12 📅 Erstellt 2024-11-15
47
eightBEC/fastapi-ml-skeleton

FastAPI Skeleton App zur Bereitstellung von Machine-Learning-Modellen in Produktionsqualität.

eightBEC
⭐ 601 Python 👤 eightBEC User 🕐 Aktualisiert 2026-01-08 📅 Erstellt 2020-02-15
48
predibase/llm_distillation_playbook

Bewährte Verfahren für die Destillation großer Sprachmodelle.

predibase
⭐ 596 Jupyter Notebook 👤 predibase Organization 🕐 Aktualisiert 2024-02-01 📅 Erstellt 2023-12-06
49
fufankeji/DeepSeek-OCR-Web

Plug-and-Play DeepSeek OCR Dokumentenanalyse Web Studio

fufankeji
⭐ 568 TypeScript 👤 fufankeji User 🕐 Aktualisiert 2025-10-27 📅 Erstellt 2025-10-23

Häufig gestellte Fragen

1

Welches ist das beliebteste #model-serving-Repository auf GitHub?

Das am höchsten eingestufte Open-Source-#model-serving-Projekt auf GitHub ist vllm-project/vllm mit 97,302 Sternen. Eine hochdurchsatzfähige und speichereffiziente Inferenz- und Serving-Engine für LLMs

2

Welche Programmiersprachen werden in #model-serving-Repositories am häufigsten verwendet?

Unter den am höchsten eingestuften #model-serving-Projekten auf GitHub sind Python, Go, Rust, Jupyter Notebook die am häufigsten verwendeten Programmiersprachen.

3

Wie wird das Ranking der #model-serving-Repositories berechnet?

Wir verfolgen 51 aktive Open-Source-Repositories, die mit #model-serving getaggt sind (500+ Sterne), mit insgesamt 211,758 Sternen und durchschnittlich 4,152 Sternen pro Repository. Die Rankings werden täglich über die GitHub-API aktualisiert.