Git Stars Git Stars

#llm-serving Repositories

Entdecke 44 aktive Open-Source-GitHub-Repositories, die mit #llm-serving getaggt sind und insgesamt 381,346 Sterne gesammelt haben (durchschnittlich 8,666 Sterne pro Projekt). Spitzenreiter in diesem Themenbereich ist vllm-project/vllm mit 97,302 Sternen.

44
Gesamtzahl der Repositories
381,346
Gesamtanzahl der Sterne
8,666
Durchschnittliche Sterne/Repo

Insgesamt 44 Repositories

1
vllm-project/vllm

Eine hochdurchsatzfähige und speichereffiziente Inferenz- und Serving-Engine für LLMs

vllm-project
⭐ 97,302 Python 👤 vllm-project Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2023-02-09
2
exo-explore/exo

Führen Sie Frontier AI lokal aus.

exo-explore
⭐ 48,516 Python 👤 exo-explore Organization 🕐 Aktualisiert 2026-11-06 📅 Erstellt 2024-06-24
3
ray-project/ray

Ray ist ein AI-Compute-Engine. Ray besteht aus einem zentralen verteilten Runtime und einem Satz von AI-Bibliotheken zur Beschleunigung von ML-Workloads.

ray-project
⭐ 44,352 Python 👤 ray-project Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2016-10-25
4
lm-sys/FastChat

Eine offene Plattform für das Training, die Bereitstellung und die Bewertung großer Sprachmodelle. Veröffentlichungs-Repository für Vicuna und Chatbot Arena.

lm-sys
⭐ 39,550 Python 👤 lm-sys Organization 🕐 Aktualisiert 2026-05-01 📅 Erstellt 2023-03-19
5
liguodongiot/llm-action

Dieses Projekt zielt darauf ab, die technischen Prinzipien und praktischen Erfahrungen im Zusammenhang mit großen Modellen zu teilen (Industrialisierung großer Modelle, praktische Anwendung großer Modelle).

liguodongiot
⭐ 25,297 HTML 👤 liguodongiot User 🕐 Aktualisiert 2026-10-14 📅 Erstellt 2023-05-23
6
NVIDIA/TensorRT-LLM

TensorRT LLM bietet Benutzern eine einfach zu bedienende Python-API zur Definition von Large Language Models (LLMs) und unterstützt hochmoderne Optimierungen für eine effiziente Inferenz auf NVIDIA GPUs. TensorRT LLM enthält außerdem Komponenten zur Erstellung von Python- und C++-Runtimes, die die Inferenzdurchführung auf performante Weise orchestrieren.

NVIDIA
⭐ 15,112 Python 👤 NVIDIA Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2023-08-16
7
bentoml/OpenLLM

Führen Sie beliebige Open-Source-LLMs wie DeepSeek und Llama als OpenAI-kompatiblen API-Endpunkt in der Cloud aus.

bentoml
⭐ 12,610 Python 👤 bentoml Organization 🕐 Aktualisiert 2026-11-16 📅 Erstellt 2023-04-19
8
skypilot-org/skypilot

Die KI-Compute-Plattform für Spitzenteams. SkyPilot verwandelt fragmentierte KI-Rechenleistung in einen KI-Supercomputer, sodass Spitzenteams schneller maßgeschneiderte Intelligenz entwickeln.

skypilot-org
⭐ 10,869 Python 👤 skypilot-org Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2021-08-11
9
bentoml/BentoML

Der einfachste Weg, AI-Apps und -Modelle zu hosten - Erstellen Sie Model Inference APIs, Job-Warteschlangen, LLM-Apps, Multi-Model-Pipelines und mehr!

bentoml
⭐ 8,944 Python 👤 bentoml Organization 🕐 Aktualisiert 2026-11-17 📅 Erstellt 2019-04-02
10
bojieli/ai-infra-book

《AI-Infrastruktur tiefgehend verstehen: Quantitative Analyse und Systemdesign》 (von Li Bojie), ein Open-Source-Buchmanuskript: Ausgehend von Hardwarebeschränkungen und Modellarchitekturen wird das Design von LLM-Inferenz- und Trainingssystemen quantitativ hergeleitet. Enthält den vollständigen Buchtext, ein PDF, zugehörige Berechnungstools und Experimente.

bojieli
⭐ 8,179 Python 👤 bojieli User 🕐 Aktualisiert 2026-10-01 📅 Erstellt 2026-08-22
11
z-lab/dflash

DFlash: Blockdiffusion für Flash-Spekulative Dekodierung

z-lab
⭐ 6,254 Python 👤 z-lab Organization 🕐 Aktualisiert 2026-08-18 📅 Erstellt 2026-01-04
12
gpustack/gpustack

Ein GPU-Cluster-Manager für hochleistungsfähiges KI-Modell-Serving (vLLM, SGLang) und bedarfsgesteuerte, per SSH zugängliche GPU-Instanzen.

gpustack
⭐ 6,097 Python 👤 gpustack Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2024-05-11
13
sgl-project/mini-sglang

Eine kompakte Implementierung von SGLang, entwickelt, um die Komplexität moderner LLM-Serving-Systeme zu entmystifizieren.

sgl-project
⭐ 5,623 Python 👤 sgl-project Organization 🕐 Aktualisiert 2026-05-17 📅 Erstellt 2025-09-01
14
superduper-io/superduper

Superduper: End-to-End-Framework zum Erstellen benutzerdefinierter KI-Anwendungen und -Agenten.

superduper-io
⭐ 5,317 Python 👤 superduper-io Organization 🕐 Aktualisiert 2025-09-01 📅 Erstellt 2022-08-30
15
SylphAI-Inc/LLM-engineer-handbook

Eine kuratierte Liste von Ressourcen für große Sprachmodelle, die Modelltraining, -bereitstellung, -optimierung und den Aufbau von LLM-Anwendungen abdecken.

SylphAI-Inc
⭐ 5,014 👤 SylphAI-Inc Organization 🕐 Aktualisiert 2025-08-18 📅 Erstellt 2024-11-04
16
predibase/lorax

Multi-LoRA-Inferenzserver, der bis zu Tausende von feinabgestimmten LLMs skaliert

predibase
⭐ 3,836 Python 👤 predibase Organization 🕐 Aktualisiert 2026-05-28 📅 Erstellt 2023-10-20
17
PaddlePaddle/FastDeploy

Leistungsstarkes Inference- und Deployment-Toolkit für LLMs und VLMs auf Basis von PaddlePaddle

PaddlePaddle
⭐ 3,722 Python 👤 PaddlePaddle Organization 🕐 Aktualisiert 2026-09-24 📅 Erstellt 2022-06-27
18
vllm-project/vllm-ascend

Von der Community gepflegtes Hardware-Plugin für vLLM auf Huawei Ascend

vllm-project
⭐ 3,128 Python 👤 vllm-project Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2025-01-29
19
thu-pacman/chitu

Hochleistungs-Inferenzframework für große Sprachmodelle mit Schwerpunkt auf Effizienz, Flexibilität und Verfügbarkeit.

thu-pacman
⭐ 3,005 Python 👤 thu-pacman Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2025-02-20
20
MoonshotAI/MoBA

MoBA: Mixture of Block Attention für LLMs mit langem Kontext

MoonshotAI
⭐ 2,122 Python 👤 MoonshotAI Organization 🕐 Aktualisiert 2025-04-03 📅 Erstellt 2025-02-17
21
microsoft/aici

AICI: Prompts als (Wasm) Programme

microsoft
⭐ 2,077 Rust 👤 microsoft Organization 🕐 Aktualisiert 2025-01-22 📅 Erstellt 2023-09-26
22
SemiAnalysisAI/InferenceX

Open-Source-Forschungsplattform für Inferenz

SemiAnalysisAI
⭐ 2,074 Python 👤 SemiAnalysisAI Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2025-07-12
23
ovg-project/kvcached

Virtualisierter elastischer KV-Cache für dynamische GPU-Freigabe und darüber hinaus

ovg-project
⭐ 2,051 Python 👤 ovg-project Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2025-05-27
24
HuangOwen/Awesome-LLM-Compression

Hervorragende Forschungsarbeiten und Werkzeuge zur Komprimierung von LLMs.

HuangOwen
⭐ 1,899 👤 HuangOwen User 🕐 Aktualisiert 2026-11-16 📅 Erstellt 2023-05-30
25
RunanywhereAI/trnrt

Die Open-Source-Inferenz-Engine für LLMs auf AWS Trainium: NKI-Megakerne, 1-Million-Token-Kontext und OpenAI-kompatible API. Von RunAnywhere.

RunanywhereAI
⭐ 1,653 Python 👤 RunanywhereAI Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2026-10-30
26
GradientHQ/parallax

Parallax ist ein verteiltes Modell-Serving-Framework, mit dem Sie Ihren eigenen KI-Cluster überall erstellen können

GradientHQ
⭐ 1,429 Python 👤 GradientHQ Organization 🕐 Aktualisiert 2026-07-01 📅 Erstellt 2025-09-22
27
peonist-ai/halogen-flash-server

Lokale Inferenz mit dem Verhalten einer hochmodernen API: Qwen3.8-Flash-Next auf AMD Strix Halo sowie kleine NPU-Modelle – über die OpenAI- und Anthropic-APIs auf einem einzigen Port.

peonist-ai
⭐ 1,412 Shell 👤 peonist-ai Organization 🕐 Aktualisiert 2026-11-18 📅 Erstellt 2026-08-26
28
alibaba/rtp-llm

RTP-LLM: Alibabas Hochleistungs-LLM-Inferenz-Engine für diverse Anwendungen.

alibaba
⭐ 1,402 Python 👤 alibaba Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2023-12-27
29
microsoft/MInference

[NeurIPS'24 Spotlight, ICLR'25, ICML'25] Um die Inferenz von Long-Context-LLMs zu beschleunigen, berechnen approximative und dynamische dichte Berechnungen die Aufmerksamkeit, was die Inferenzlatenz beim Vorabfüllen auf einer A100 um bis zu 10x reduziert, während die Genauigkeit erhalten bleibt.

microsoft
⭐ 1,230 Python 👤 microsoft Organization 🕐 Aktualisiert 2026-11-18 📅 Erstellt 2024-05-22
30
efeslab/Nanoflow

Ein durchsatzorientierter Hochleistungs-Serving-Framework für LLMs

efeslab
⭐ 978 Jupyter Notebook 👤 efeslab Organization 🕐 Aktualisiert 2026-03-29 📅 Erstellt 2024-08-19
31
zhihu/ZhiLight

Eine hochoptimierte LLM-Inferenzbeschleunigungs-Engine für Llama und seine Varianten.

zhihu
⭐ 906 C++ 👤 zhihu Organization 🕐 Aktualisiert 2026-03-18 📅 Erstellt 2024-12-06
32
mosecorg/mosec

Ein performantes ML-Modell-Serving-Framework, das dynamisches Batching und CPU/GPU-Pipelines bietet, um Ihre Rechenmaschine voll auszunutzen

mosecorg
⭐ 905 Python 👤 mosecorg Organization 🕐 Aktualisiert 2026-11-02 📅 Erstellt 2021-03-13
33
triton-inference-server/tutorials

Dieses Repository enthält Tutorials und Beispiele für den Triton Inference Server

triton-inference-server
⭐ 869 Python 👤 triton-inference-server Organization 🕐 Aktualisiert 2026-11-17 📅 Erstellt 2022-12-16
34
mit-han-lab/omniserve

[MLSys'25] QServe: W4A8KV4 Quantisierung und System-Co-Design für effizientes LLM-Serving; [MLSys'25] LServe: Effizientes LLM-Serving für lange Sequenzen mit vereinheitlichter spärlicher Aufmerksamkeit

mit-han-lab
⭐ 840 C++ 👤 mit-han-lab Organization 🕐 Aktualisiert 2025-03-06 📅 Erstellt 2024-05-06
35
helixml/helix

♾️ Private Agent-Flotte mit spezifischem Coding. Jeder Agent erhält seinen eigenen GPU-beschleunigten Desktop. Führen Sie Claude, Codex, Gemini und Open Models auf einem vollständigen privaten AI-Stack aus ♾️

helixml
⭐ 833 Go 👤 helixml Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2023-10-17
36
LLMServe/DistServe

Disaggregiertes Serviersystem für große Sprachmodelle (LLMs).

LLMServe
⭐ 817 Jupyter Notebook 👤 LLMServe Organization 🕐 Aktualisiert 2025-04-06 📅 Erstellt 2024-01-16
37
ARahim3/kaggle-tpu-lab

Open-Modelle der Spitzenklasse auf einer kostenlosen Kaggle-TPU v5e-8: GLM-5.3-Flash 320B MoE (~165 Tok/s, mit unserer eigenen JAX-Engine) und Qwen3.8-27B bf16 (~130 Tok/s), 262k Kontext und Präfix-Caching. Funktioniert mit Claude Code, Codex, opencode und pi.

ARahim3
⭐ 812 Python 👤 ARahim3 User 🕐 Aktualisiert 2026-10-06 📅 Erstellt 2026-08-31
38
nunchaku-ai/deepcompressor

Modelkomprimierungs-Toolbox für große Sprachmodelle und Diffusionsmodelle

nunchux-ai
⭐ 799 Python 👤 nunchux-ai Organization 🕐 Aktualisiert 2025-08-14 📅 Erstellt 2024-05-06
39
pegainfer-project/pegainfer

Reine Rust + CUDA LLM-Inferenz-Engine — kein PyTorch, OpenAI-kompatibel, bedient Qwen3 bis Kimi-K2

pegainfer-project
⭐ 748 Rust 👤 pegainfer-project Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2026-02-17
40
owenliang/qwen-vllm

Tongyi Qianwen VLLM Inferenz-Deployment-DEMO

owenliang
⭐ 637 Python 👤 owenliang User 🕐 Aktualisiert 2024-03-28 📅 Erstellt 2024-01-21
42
rohan-paul/LLM-FineTuning-Large-Language-Models

Feinabstimmung von LLMs (Large Language Models)

rohan-paul
⭐ 574 Jupyter Notebook 👤 rohan-paul User 🕐 Aktualisiert 2025-04-01 📅 Erstellt 2023-10-22
43
llumnix-project/llumnix-ray

Effiziente und einfache Multi-Instanz-LLM-Bereitstellung

llumnix-project
⭐ 561 Python 👤 llumnix-project Organization 🕐 Aktualisiert 2026-03-12 📅 Erstellt 2024-05-20
44
OmniJev/Flide

🔥🔥 Die extrem schnelle Inferenz-Engine für Entscheidungsmodelle

OmniJev
⭐ 550 Python 👤 OmniJev Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2026-10-24

Häufig gestellte Fragen

1

Welches ist das beliebteste #llm-serving-Repository auf GitHub?

Das am höchsten eingestufte Open-Source-#llm-serving-Projekt auf GitHub ist vllm-project/vllm mit 97,302 Sternen. Eine hochdurchsatzfähige und speichereffiziente Inferenz- und Serving-Engine für LLMs

2

Welche Programmiersprachen werden in #llm-serving-Repositories am häufigsten verwendet?

Unter den am höchsten eingestuften #llm-serving-Projekten auf GitHub sind Python, Jupyter Notebook, Rust, C++ die am häufigsten verwendeten Programmiersprachen.

3

Wie wird das Ranking der #llm-serving-Repositories berechnet?

Wir verfolgen 44 aktive Open-Source-Repositories, die mit #llm-serving getaggt sind (500+ Sterne), mit insgesamt 381,346 Sternen und durchschnittlich 8,666 Sternen pro Repository. Die Rankings werden täglich über die GitHub-API aktualisiert.