Git Stars Git Stars

#llm-inference Repositories

Entdecke 202 aktive Open-Source-GitHub-Repositories, die mit #llm-inference getaggt sind und insgesamt 1,046,424 Sterne gesammelt haben (durchschnittlich 5,180 Sterne pro Projekt). Spitzenreiter in diesem Themenbereich ist deepseek-ai/DeepSeek-V3 mit 104,417 Sternen.

202
Gesamtzahl der Repositories
1.0M
Gesamtanzahl der Sterne
5,180
Durchschnittliche Sterne/Repo

Insgesamt 202 Repositories

⭐ 104,417 Python 👤 deepseek-ai Organization 🕐 Aktualisiert 2025-08-28 📅 Erstellt 2024-12-26
2
nomic-ai/gpt4all

GPT4All: Lokale LLMs auf jedem Gerät ausführen. Open-Source und für kommerzielle Nutzung verfügbar.

nomic-ai
⭐ 77,352 C++ 👤 nomic-ai Organization 🕐 Aktualisiert 2025-05-27 📅 Erstellt 2023-03-27
3
oobabooga/textgen

Open-Source-Desktop-App für lokale LLMs. Text, Vision, Tool-Calling, OpenAI/Anthropic-kompatible API. 100 % privat.

oobabooga
⭐ 47,736 Python 👤 oobabooga User 🕐 Aktualisiert 2026-08-17 📅 Erstellt 2022-12-21
4
ray-project/ray

Ray ist ein AI-Compute-Engine. Ray besteht aus einem zentralen verteilten Runtime und einem Satz von AI-Bibliotheken zur Beschleunigung von ML-Workloads.

ray-project
⭐ 44,352 Python 👤 ray-project Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2016-10-25
5
microsoft/BitNet

Offizielles Inferenz-Framework für 1-Bit-LLMs

microsoft
⭐ 42,358 C++ 👤 microsoft Organization 🕐 Aktualisiert 2026-07-27 📅 Erstellt 2024-08-05
6
gitleaks/gitleaks

Geheimnisse mit Gitleaks finden 🔑

gitleaks
⭐ 31,234 Go 👤 gitleaks Organization 🕐 Aktualisiert 2026-10-28 📅 Erstellt 2018-01-27
7
QwenLM/Qwen3

Qwen3 ist die Serie von großen Sprachmodellen, die vom Qwen-Team von Alibaba Cloud entwickelt wurde.

QwenLM
⭐ 27,753 Python 👤 QwenLM Organization 🕐 Aktualisiert 2026-01-09 📅 Erstellt 2024-02-05
8
Hannibal046/Awesome-LLM

Awesome-LLM: eine kuratierte Liste von Large Language Models

Hannibal046
⭐ 27,212 👤 Hannibal046 User 🕐 Aktualisiert 2025-07-31 📅 Erstellt 2023-02-17
9
google-ai-edge/gallery

Eine Galerie, die On-Device-ML/GenAI-Anwendungsfälle präsentiert und es den Benutzern ermöglicht, Modelle lokal auszuprobieren und zu verwenden.

google-ai-edge
⭐ 25,398 Kotlin 👤 google-ai-edge Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2025-03-31
10
liguodongiot/llm-action

Dieses Projekt zielt darauf ab, die technischen Prinzipien und praktischen Erfahrungen im Zusammenhang mit großen Modellen zu teilen (Industrialisierung großer Modelle, praktische Anwendung großer Modelle).

liguodongiot
⭐ 25,297 HTML 👤 liguodongiot User 🕐 Aktualisiert 2026-10-14 📅 Erstellt 2023-05-23
11
deepseek-ai/DeepSeek-OCR

Kontexte optische Kompression

deepseek-ai
⭐ 24,180 Python 👤 deepseek-ai Organization 🕐 Aktualisiert 2026-01-27 📅 Erstellt 2025-10-17
12
kvcache-ai/ktransformers

Ein flexibles Framework zum Erleben heterogener LLM-Inferenz-/Fine-Tune-Optimierungen

kvcache-ai
⭐ 19,687 Python 👤 kvcache-ai Organization 🕐 Aktualisiert 2026-11-13 📅 Erstellt 2024-07-26
13
karpathy/llama2.c

Inferenz Llama 2 in einer reinen C-Datei

karpathy
⭐ 19,062 C 👤 karpathy User 🕐 Aktualisiert 2024-08-06 📅 Erstellt 2023-07-23
14
Stability-AI/StableLM

StableLM: Stability AI Sprachmodelle

Stability-AI
⭐ 15,784 Jupyter Notebook 👤 Stability-AI Organization 🕐 Aktualisiert 2024-04-08 📅 Erstellt 2023-04-19
15
mindverse/Second-Me

Trainiere dein KI-Selbst, verstärke dich, verbinde die Welt

mindverse
⭐ 15,688 Python 👤 mindverse Organization 🕐 Aktualisiert 2025-09-30 📅 Erstellt 2025-03-16
16
Lightning-AI/litgpt

Über 20 leistungsstarke LLMs mit Anleitungen zum Vortrainieren, Finetuning und Bereitstellen in großem Maßstab.

Lightning-AI
⭐ 13,757 Python 👤 Lightning-AI Organization 🕐 Aktualisiert 2026-11-10 📅 Erstellt 2023-05-04
17
deepseek-ai/FlashMLA

FlashMLA: Effiziente Multi-Head Latent Attention Kernels

deepseek-ai
⭐ 13,275 C++ 👤 deepseek-ai Organization 🕐 Aktualisiert 2026-10-27 📅 Erstellt 2025-02-21
18
bentoml/OpenLLM

Führen Sie beliebige Open-Source-LLMs wie DeepSeek und Llama als OpenAI-kompatiblen API-Endpunkt in der Cloud aus.

bentoml
⭐ 12,610 Python 👤 bentoml Organization 🕐 Aktualisiert 2026-11-16 📅 Erstellt 2023-04-19
19
FareedKhan-dev/kimi-k3-in-c

Ein Kimi K3-Modell mit 2,78 Billionen Parametern, das Inferenz auf einer einzelnen CPU mit 8,24 GB RAM ausführt. Portables C99: kein BLAS, kein Framework, keine GPU.

FareedKhan-dev
⭐ 12,523 C 👤 FareedKhan-dev User 🕐 Aktualisiert 2026-11-16 📅 Erstellt 2026-08-01
20
openvinotoolkit/openvino

OpenVINO™ ist ein Open-Source-Toolkit zur Optimierung und Bereitstellung von KI-Inferenz.

openvinotoolkit
⭐ 11,869 C++ 👤 openvinotoolkit Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2018-10-15
21
mistralai/mistral-inference

Offizielle Inferenzbibliothek für Mistral-Modelle

mistralai
⭐ 10,809 Jupyter Notebook 👤 mistralai Organization 🕐 Aktualisiert 2026-04-20 📅 Erstellt 2023-09-27
22
abetlen/llama-cpp-python

Python-Bindings für llama.cpp

abetlen
⭐ 10,691 Python 👤 abetlen User 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2023-03-23
23
Tiiny-AI/PowerInfer

Hochgeschwindigkeits-Large-Language-Model-Bereitstellung für lokale Bereitstellung

Tiiny-AI
⭐ 9,893 C++ 👤 Tiiny-AI Organization 🕐 Aktualisiert 2026-05-11 📅 Erstellt 2023-12-15
24
bentoml/BentoML

Der einfachste Weg, AI-Apps und -Modelle zu hosten - Erstellen Sie Model Inference APIs, Job-Warteschlangen, LLM-Apps, Multi-Model-Pipelines und mehr!

bentoml
⭐ 8,944 Python 👤 bentoml Organization 🕐 Aktualisiert 2026-11-17 📅 Erstellt 2019-04-02
25
ai-dynamo/dynamo

Ein Framework für verteiltes Inferenz-Serving im Rechenzentrum-Maßstab

ai-dynamo
⭐ 8,542 Rust 👤 ai-dynamo Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2025-03-03
26
bojieli/ai-infra-book

《AI-Infrastruktur tiefgehend verstehen: Quantitative Analyse und Systemdesign》 (von Li Bojie), ein Open-Source-Buchmanuskript: Ausgehend von Hardwarebeschränkungen und Modellarchitekturen wird das Design von LLM-Inferenz- und Trainingssystemen quantitativ hergeleitet. Enthält den vollständigen Buchtext, ein PDF, zugehörige Berechnungstools und Experimente.

bojieli
⭐ 8,179 Python 👤 bojieli User 🕐 Aktualisiert 2026-10-01 📅 Erstellt 2026-08-22
27
InternLM/lmdeploy

LMDeploy ist ein Toolkit zum Komprimieren, Bereitstellen und Bedienen von LLMs.

InternLM
⭐ 8,153 Python 👤 InternLM Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2023-06-15
28
algorithmicsuperintelligence/openevolve

Open-Source-Implementierung von AlphaEvolve

algorithmicsuperintelligence
⭐ 7,835 Python 👤 algorithmicsuperintelligence Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2025-05-15
29
drumih/turbo-fieldfare

Gemma 4 26B-A4B Inferenz mit ca. 2 GB RAM auf jedem MacBook der M-Serie

drumih
⭐ 7,432 Swift 👤 drumih User 🕐 Aktualisiert 2026-11-14 📅 Erstellt 2026-07-17
30
mit-han-lab/streaming-llm

[ICLR 2024] Effiziente Streaming-Sprachmodelle mit Attention Sinks

mit-han-lab
⭐ 7,165 Python 👤 mit-han-lab Organization 🕐 Aktualisiert 2024-07-11 📅 Erstellt 2023-09-29
31
katanemo/plano

Plano ist ein KI-nativer Proxy-Server und eine Datenebene für agentische Anwendungen. Intelligentes LLM-Routing, Beobachtbarkeit, Agentenorchestrierung und Schutzmechanismen, damit Sie sich auf die Kernlogik Ihrer Agenten konzentrieren können.

katanemo
⭐ 7,118 Rust 👤 katanemo Organization 🕐 Aktualisiert 2026-10-24 📅 Erstellt 2024-07-09
32
google/gemma.cpp

leichtgewichtige, eigenständige C++-Inferenz-Engine für Googles Gemma-Modelle.

google
⭐ 7,089 C++ 👤 google Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2024-02-13
33
deepseek-ai/DeepSeek-Coder-V2

DeepSeek-Coder-V2: Das Brechen der Barriere von Closed-Source-Modellen in der Code-Intelligenz

deepseek-ai
⭐ 7,030 👤 deepseek-ai Organization 🕐 Aktualisiert 2025-11-11 📅 Erstellt 2024-06-14
34
karminski/one-small-step

Dies ist ein einfaches technisches科普-Tutorial-Projekt, das sich hauptsächlich darauf konzentriert, einige interessante, hochmoderne technische Konzepte und Prinzipien zu erklären. Jeder Artikel wird angestrebt, in 5 Minuten gelesen zu werden.

karminski
⭐ 7,006 Python 👤 karminski User 🕐 Aktualisiert 2026-03-08 📅 Erstellt 2025-01-16
35
flashinfer-ai/flashinfer

FlashInfer: Kernel-Bibliothek für LLM-Serving

flashinfer-ai
⭐ 6,982 Cuda 👤 flashinfer-ai Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2023-07-22
36
simplescaling/s1

s1: Einfache Laufzeitskalierung

simplescaling
⭐ 6,656 Python 👤 simplescaling Organization 🕐 Aktualisiert 2025-06-25 📅 Erstellt 2025-02-01
37
lemonade-sdk/lemonade

Lemonade hilft Benutzern, lokale KI-Apps zu entdecken und auszuführen, indem es optimierte LLMs direkt von ihren eigenen GPUs und NPUs bereitstellt. Treten Sie unserem Discord bei: https://discord.gg/5xXzkMu8Zk

lemonade-sdk
⭐ 6,262 C++ 👤 lemonade-sdk Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2025-05-15
38
kserve/kserve

Standardisierte verteilte generative und prädiktive KI-Inferenzplattform für skalierbare, Multi-Framework-Bereitstellung auf Kubernetes

kserve
⭐ 6,253 Go 👤 kserve Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2019-03-27
39
meta-pytorch/gpt-fast

Einfache und effiziente PyTorch-native Transformer-Textgenerierung in <1000 LOC Python.

meta-pytorch
⭐ 6,244 Python 👤 meta-pytorch Organization 🕐 Aktualisiert 2025-08-22 📅 Erstellt 2023-10-17
40
cactus-compute/engine

2-Bit-Quantisierung, Kernel und Laufzeitumgebung für Endgeräte.

cactus-compute
⭐ 6,200 C++ 👤 cactus-compute Organization 🕐 Aktualisiert 2026-11-05 📅 Erstellt 2025-04-23
41
gpustack/gpustack

Ein GPU-Cluster-Manager für hochleistungsfähiges KI-Modell-Serving (vLLM, SGLang) und bedarfsgesteuerte, per SSH zugängliche GPU-Instanzen.

gpustack
⭐ 6,097 Python 👤 gpustack Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2024-05-11
42
Michael-A-Kuykendall/shimmy

⚡ WebGPU-Inferenz-Engine in reinem Rust — OpenAI-API-kompatibel, GGUF-nativ, läuft auf jeder GPU. Kein Python. Kein llama.cpp. Einzelne Binärdatei.

Michael-A-Kuykendall
⭐ 6,020 Rust 👤 Michael-A-Kuykendall User 🕐 Aktualisiert 2026-11-12 📅 Erstellt 2025-08-28
43
alexzhang13/rlm

Allgemeine Plug-and-Play-Inferenzbibliothek für rekursive Sprachmodelle (RLMs), die verschiedene Sandboxes unterstützt.

alexzhang13
⭐ 5,776 Python 👤 alexzhang13 User 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2025-12-20
44
sgl-project/mini-sglang

Eine kompakte Implementierung von SGLang, entwickelt, um die Komplexität moderner LLM-Serving-Systeme zu entmystifizieren.

sgl-project
⭐ 5,623 Python 👤 sgl-project Organization 🕐 Aktualisiert 2026-05-17 📅 Erstellt 2025-09-01
45
xlite-dev/Awesome-LLM-Inference

📚Eine kuratierte Liste von Awesome LLM/VLM-Inferenz-Papers mit Codes: Flash-Attention, Paged-Attention, WINT8/4, Parallelism usw.🎉

xlite-dev
⭐ 5,565 Python 👤 xlite-dev Organization 🕐 Aktualisiert 2026-10-20 📅 Erstellt 2023-08-27
46
superduper-io/superduper

Superduper: End-to-End-Framework zum Erstellen benutzerdefinierter KI-Anwendungen und -Agenten.

superduper-io
⭐ 5,317 Python 👤 superduper-io Organization 🕐 Aktualisiert 2025-09-01 📅 Erstellt 2022-08-30
47
ztxz16/fastllm

fastllm ist eine hochperformante Inferenzbibliothek für große Sprachmodelle, die keine Backend-Abhängigkeiten hat und Ihnen hilft, Inferenz auf den meisten Geräten effizient auszuführen.

ztxz16
⭐ 5,133 C++ 👤 ztxz16 User 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2023-05-13
48
deepseek-ai/DeepSeek-V2

DeepSeek-V2: Ein starkes, wirtschaftliches und effizientes Mixture-of-Experts Sprachmodell

deepseek-ai
⭐ 4,988 👤 deepseek-ai Organization 🕐 Aktualisiert 2024-09-25 📅 Erstellt 2024-04-22
49
FellouAI/eko

Eko (Eko keeps operating) - Erstellen Sie produktionsreife agentenbasierte Workflows mit natürlicher Sprache - eko.fellou.ai

FellouAI
⭐ 4,963 TypeScript 👤 FellouAI Organization 🕐 Aktualisiert 2026-03-03 📅 Erstellt 2024-11-23
50
ruvnet/RuVector

RuVector bietet leistungsstarke Echtzeit-Entscheidungsfindung und Agentengedächtnis, selbstlernende KI sowie eine in Rust entwickelte Vektor-GNN-Datenbank.

ruvnet
⭐ 4,713 Rust 👤 ruvnet User 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2025-11-19

Häufig gestellte Fragen

1

Welches ist das beliebteste #llm-inference-Repository auf GitHub?

Das am höchsten eingestufte Open-Source-#llm-inference-Projekt auf GitHub ist deepseek-ai/DeepSeek-V3 mit 104,417 Sternen.

2

Welche Programmiersprachen werden in #llm-inference-Repositories am häufigsten verwendet?

Unter den am höchsten eingestuften #llm-inference-Projekten auf GitHub sind Python, C++, Rust, Go die am häufigsten verwendeten Programmiersprachen.

3

Wie wird das Ranking der #llm-inference-Repositories berechnet?

Wir verfolgen 202 aktive Open-Source-Repositories, die mit #llm-inference getaggt sind (500+ Sterne), mit insgesamt 1,046,424 Sternen und durchschnittlich 5,180 Sternen pro Repository. Die Rankings werden täglich über die GitHub-API aktualisiert.