Git Stars Git Stars

#llm-inference Repositories

202
Gesamtzahl der Repositories
1.0M
Gesamtanzahl der Sterne
5,180
Durchschnittliche Sterne/Repo

Insgesamt 202 Repositories

51
turboderp-org/exllamav2

Eine schnelle Inferenzbibliothek zum Ausführen von LLMs lokal auf modernen Consumer-GPUs

turboderp-org
⭐ 4,653 Python 👤 turboderp-org Organization 🕐 Aktualisiert 2026-03-04 📅 Erstellt 2023-08-30
52
openai/harmony

Renderer für das Harmony-Antwortformat zur Verwendung mit gpt-oss

openai
⭐ 4,548 Rust 👤 openai Organization 🕐 Aktualisiert 2026-04-08 📅 Erstellt 2025-07-31
53
CalvinXKY/InfraTech

Teilen von AI-Infrastrukturwissen und Code-Praxis: PyTorch, vLLM/SGLang, Einführung in das slime/vime-Framework ⚡️, Leistungsbeschleunigung 🚀, Grundlagen großer Modelle 🧠, KI-Software und -Hardware 🔧 usw.

CalvinXKY
⭐ 4,411 Jupyter Notebook 👤 CalvinXKY User 🕐 Aktualisiert 2026-09-20 📅 Erstellt 2025-11-14
54
algorithmicsuperintelligence/optillm

Optimierung des Inferenz-Proxys für LLMs

algorithmicsuperintelligence
⭐ 4,343 Python 👤 algorithmicsuperintelligence Organization 🕐 Aktualisiert 2026-11-16 📅 Erstellt 2024-08-22
55
NVIDIA/GenerativeAIExamples

Generative KI-Referenz-Workflows, optimiert für beschleunigte Infrastruktur und Microservice-Architektur.

NVIDIA
⭐ 4,235 Jupyter Notebook 👤 NVIDIA Organization 🕐 Aktualisiert 2026-11-06 📅 Erstellt 2023-10-19
56
raullenchai/Rapid-MLX

Rapid-MLX ist ein Open-Source-LLM-Inferenzserver (Apache 2.0) für Apple Silicon, kompatibel mit OpenAI und Anthropic, auf MLX aufgebaut und auf zuverlässige Tool-Aufrufe für Coding-Agenten ausgerichtet. Mit denselben Gewichten bis zu 4× schneller als Apples MLX (mlx-lm).

raullenchai
⭐ 4,168 Python 👤 raullenchai User 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2026-02-25
57
predibase/lorax

Multi-LoRA-Inferenzserver, der bis zu Tausende von feinabgestimmten LLMs skaliert

predibase
⭐ 3,836 Python 👤 predibase Organization 🕐 Aktualisiert 2026-05-28 📅 Erstellt 2023-10-20
58
hemansnation/AI-Engineer-Headquarters

Eine Sammlung wissenschaftlicher Methoden, Prozesse, Algorithmen und Systeme zum Erstellen von Geschichten und Modellen.

hemansnation
⭐ 3,782 Jupyter Notebook 👤 hemansnation User 🕐 Aktualisiert 2026-10-28 📅 Erstellt 2022-03-29
59
amitshekhariitbhu/ai-engineering-interview-questions

Ihr Cheat Sheet für das AI Engineering Interview – Fragen und Antworten.

amitshekhariitbhu
⭐ 3,707 Markdown 👤 amitshekhariitbhu User 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2026-03-21
60
xjdr-alt/entropix

Entropiebasierte Stichprobenentnahme und parallele CoT-Dekodierung

xjdr-alt
⭐ 3,434 Python 👤 xjdr-alt User 🕐 Aktualisiert 2024-11-13 📅 Erstellt 2024-10-03
61
ikawrakow/ik_llama.cpp

llama.cpp Fork mit zusätzlichen SOTA Quants und verbesserter Leistung

ikawrakow
⭐ 3,411 C++ 👤 ikawrakow User 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2024-06-27
⭐ 3,377 Python 👤 danielgross User 🕐 Aktualisiert 2024-02-25 📅 Erstellt 2023-10-01
63
b4rtaz/distributed-llama

Verteilte LLM-Inferenz. Verbinden Sie Heimgeräte zu einem leistungsstarken Cluster, um die LLM-Inferenz zu beschleunigen. Mehr Geräte bedeuten schnellere Inferenz.

b4rtaz
⭐ 3,141 C++ 👤 b4rtaz User 🕐 Aktualisiert 2026-11-17 📅 Erstellt 2023-12-04
64
mw00/project-maya

Führen Sie GLM-5.3 (744B), DeepSeek-V4.1-Flash (748B), MiniMax-M3.1-Flash (428B), GLM-5.3-Flash (321B) und Hy4-Flash (220B) auf Ihren eigenen GPUs aus – ab 8 GB VRAM, mit Unterstützung für NVIDIA und AMD, einem einzigen Dashboard sowie einer mit OpenAI und Anthropic kompatiblen API.

mw00
⭐ 3,140 C++ 👤 mw00 User 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2026-10-06
65
spiceai/spiceai

Fügen Sie Ihrer operativen Datenbank einen Echtzeit-Analyse-Knoten hinzu. Spice ist eine portable, beschleunigte SQL-Abfrage-, Such- und LLM-Inferenz-Engine in Rust für datengestützte KI-Anwendungen und Agenten.

spiceai
⭐ 3,132 Rust 👤 spiceai Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2021-08-08
66
qwopqwop200/GPTQ-for-LLaMa

4-Bit-Quantisierung von LLaMA mit GPTQ

qwopqwop200
⭐ 3,077 Python 👤 qwopqwop200 User 🕐 Aktualisiert 2024-07-13 📅 Erstellt 2023-03-06
67
luminal-ai/luminal

Inferenz mit Lichtgeschwindigkeit.

luminal-ai
⭐ 3,064 Rust 👤 luminal-ai Organization 🕐 Aktualisiert 2026-11-19 📅 Erstellt 2023-07-18
69
syv-ai/HyperQwen

Führe große Qwen-Modelle schnell auf den GPUs aus, die du tatsächlich besitzt. Qwen3.8-27B auf einer einzelnen 24-GB-Karte mit vLLM: 127 Tok/s bei einem einzelnen Nutzer (381, wenn die Antwort den Prompt zitiert), etwa 1.035 Tok/s bei 64 gleichzeitigen Anfragen und ein Kontext von 150k–262k. vLLM-Patches, Requantisierungs-Pipeline und Benchmarks.

syv-ai
⭐ 2,778 Python 👤 syv-ai Organization 🕐 Aktualisiert 2026-11-10 📅 Erstellt 2026-08-15
70
youssofal/MTPLX

Die schnellste Möglichkeit, Qwen 3.8 Flash Next, Qwen 3.8 27B und Ternary Bonsai 2 27B auf einem Mac auszuführen: 125 Token/s in OpenCode auf einem M5 Max und ein 27B-Modell auf Macs mit 16 GB. Native MTP-Spekulativdekodierung auf Apple Silicon, bei jeder Temperatur exakt. Lokaler Server mit OpenAI- und Anthropic-Kompatibilität.

youssofal
⭐ 2,729 Python 👤 youssofal User 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2026-05-02
71
vllm-project/production-stack

vLLMs Referenzsystem für K8S-native Cluster-weite Bereitstellung mit Community-gesteuerter Leistungsoptimierung

vllm-project
⭐ 2,729 Python 👤 vllm-project Organization 🕐 Aktualisiert 2026-11-07 📅 Erstellt 2025-01-21
72
FasterDecoding/Medusa

Medusa: Ein einfaches Framework zur Beschleunigung der LLM-Generierung mit mehreren Dekodierköpfen

FasterDecoding
⭐ 2,684 Jupyter Notebook 👤 FasterDecoding Organization 🕐 Aktualisiert 2024-06-25 📅 Erstellt 2023-09-10
73
mirage-project/mirage

Mirage Persistent Kernel: Kompilierung von LLMs in einen MegaKernel

mirage-project
⭐ 2,625 Cuda 👤 mirage-project Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2024-05-08
74
incoai/splash

Eine lokale Inferenz-Engine für Apple Silicon, die um das Modell herum entwickelt wurde.

incoai
⭐ 2,591 C++ 👤 incoai Organization 🕐 Aktualisiert 2026-11-17 📅 Erstellt 2026-09-18
75
Nano-Collective/nanocoder

Ein offener Coding-Agent für Ihr Terminal, entwickelt von einem Gemeinschaftskollektiv statt von einem Unternehmen. Bringen Sie Ihr eigenes Modell mit, behalten Sie Ihren Code auf Ihrer Maschine und schulden Sie niemandem etwas.

Nano-Collective
⭐ 2,582 TypeScript 👤 Nano-Collective Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2025-07-30
76
SafeAILab/EAGLE

Offizielle Implementierung von EAGLE-1 (ICML'24), EAGLE-2 (EMNLP'24) und EAGLE-3 (NeurIPS'25).

SafeAILab
⭐ 2,581 Python 👤 SafeAILab Organization 🕐 Aktualisiert 2026-02-20 📅 Erstellt 2023-12-07
77
databricks/dbrx

Codebeispiele und Ressourcen für DBRX, ein großes Sprachmodell, das von Databricks entwickelt wurde

databricks
⭐ 2,578 Python 👤 databricks Organization 🕐 Aktualisiert 2024-05-01 📅 Erstellt 2024-03-26
78
Jittor/JittorLLMs

Die Jito-Deep-Learning-Inferenzbibliothek zeichnet sich durch hohe Leistung, geringe Konfigurationsanforderungen, gute Chinesisch-Unterstützung und Portabilität aus.

Jittor
⭐ 2,419 Python 👤 Jittor User 🕐 Aktualisiert 2025-02-22 📅 Erstellt 2023-04-02
79
ashhart/TensorFold

LLM-Inferenz-Engine für Metal, CUDA und Vulkan.

ashhart
⭐ 2,364 Zig 👤 ashhart User 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2026-06-19
80
datawhalechina/zero-to-sglang

Offizieller SGLang-x-Datawhale-Kurs zur LLM-Inferenz: Verstehe die Inferenz, entwickle ein Mini-SGLang von Grund auf, lies anschließend den echten SGLang-Quellcode und reiche deinen ersten PR ein. Auf Englisch und Chinesisch verfügbar.

datawhalechina
⭐ 2,306 Python 👤 datawhalechina Organization 🕐 Aktualisiert 2026-11-17 📅 Erstellt 2026-08-27
82
cfregly/ai-performance-engineering

Code, Labs und Ressourcen für O'Reilly AI Systems Performance Engineering: GPU-Optimierung, verteiltes Training, Inferenz-Skalierung und Full-Stack-Tuning.

cfregly
⭐ 2,233 Python 👤 cfregly User 🕐 Aktualisiert 2026-11-19 📅 Erstellt 2025-04-21
83
neuron-core/neuron-ai

Das Agenten-Framework des PHP-Ökosystems zum Erstellen produktionsreifer KI-gestützter Anwendungen. Verbinden Sie Komponenten (LLMs, Tools, Vektordatenbanken, Speicher) mit Agenten, die mit Ihren Daten und Ihrer Benutzeroberfläche interagieren.

neuron-core
⭐ 2,179 PHP 👤 neuron-core Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2025-03-02
84
pallavi-shekhar/ai-engineering-interview-questions-company-wise

Dein Spickzettel für Bewerbungsgespräche im KI-Engineering bei führenden KI-Unternehmen – Fragen und Antworten.

pallavi-shekhar
⭐ 2,098 Markdown 👤 pallavi-shekhar User 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2026-09-19
85
microsoft/aici

AICI: Prompts als (Wasm) Programme

microsoft
⭐ 2,077 Rust 👤 microsoft Organization 🕐 Aktualisiert 2025-01-22 📅 Erstellt 2023-09-26
86
SemiAnalysisAI/InferenceX

Open-Source-Forschungsplattform für Inferenz

SemiAnalysisAI
⭐ 2,074 Python 👤 SemiAnalysisAI Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2025-07-12
87
ovg-project/kvcached

Virtualisierter elastischer KV-Cache für dynamische GPU-Freigabe und darüber hinaus

ovg-project
⭐ 2,051 Python 👤 ovg-project Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2025-05-27
88
AtomicBot-ai/Atomic-Chat

Lokale KI-App und Inferenz-Engine für Agenten. Führen Sie Open-Weight-LLMs lokal aus – privat, 100 % offline auf Ihrem Computer. Treten Sie unserem Discord bei: https://discord.com/invite/8wGSsvmg4V

AtomicBot-ai
⭐ 2,040 TypeScript 👤 AtomicBot-ai Organization 🕐 Aktualisiert 2026-11-19 📅 Erstellt 2026-03-31
89
kimjammer/Neuro

Eine Nachbildung von Neuro-Sama, ursprünglich in 7 Tagen erstellt.

kimjammer
⭐ 1,960 Python 👤 kimjammer User 🕐 Aktualisiert 2025-01-17 📅 Erstellt 2024-01-07
90
liltom-eth/llama2-webui

Führen Sie jeden Llama 2 lokal mit Gradio UI auf GPU oder CPU von überall (Linux/Windows/Mac) aus. Verwenden Sie `llama2-wrapper` als Ihr lokales Llama2-Backend für Generative Agents/Apps.

liltom-eth
⭐ 1,954 Jupyter Notebook 👤 liltom-eth User 🕐 Aktualisiert 2024-03-22 📅 Erstellt 2023-07-20
91
tile-ai/TileRT

Kachelbasiertes Runtime für LLM-Inferenz mit extrem niedriger Latenz

tile-ai
⭐ 1,906 Python 👤 tile-ai Organization 🕐 Aktualisiert 2026-09-24 📅 Erstellt 2025-11-12
92
XiongjieDai/GPU-Benchmarks-on-LLM-Inference

Mehrere NVIDIA GPUs oder Apple Silicon für die Inferenz großer Sprachmodelle?

XiongjieDai
⭐ 1,862 Jupyter Notebook 👤 XiongjieDai User 🕐 Aktualisiert 2024-05-13 📅 Erstellt 2023-07-19
93
beam-cloud/beta9

Ultraschnelle serverlose GPU-Inferenz, Sandboxes und Hintergrundaufträge

beam-cloud
⭐ 1,858 Go 👤 beam-cloud Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2023-11-15
94
turboderp-org/exllamav3

Eine optimierte Quantisierungs- und Inferenzbibliothek für die lokale Ausführung von LLMs auf modernen Consumer-GPUs

turboderp-org
⭐ 1,853 Python 👤 turboderp-org Organization 🕐 Aktualisiert 2026-11-19 📅 Erstellt 2025-04-06
95
vllm-project/guidellm

Bewerten und verbessern Sie Ihre LLM-Bereitstellungen für reale Inferenzanforderungen

vllm-project
⭐ 1,800 Python 👤 vllm-project Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2024-05-29
96
software-mansion/react-native-executorch

Leistungsstarke On-Device-KI-Inferenzbibliothek für React Native mit Fokus auf Datenschutz, angetrieben von PyTorchs ExecuTorch-Runtime

software-mansion
⭐ 1,794 TypeScript 👤 software-mansion Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2024-10-16
97
janhq/awesome-local-ai

Ein beeindruckendes Repository lokaler KI-Tools

janhq
⭐ 1,791 👤 janhq Organization 🕐 Aktualisiert 2024-11-13 📅 Erstellt 2023-09-06
99
LlamaEdge/LlamaEdge

Der einfachste und schnellste Weg, angepasste und fein abgestimmte LLMs lokal oder am Edge auszuführen

LlamaEdge
⭐ 1,665 Rust 👤 LlamaEdge Organization 🕐 Aktualisiert 2026-02-08 📅 Erstellt 2023-10-09
100
Nutlope/turboseek

Eine KI-Suchmaschine, die von Perplexity inspiriert ist

Nutlope
⭐ 1,660 TypeScript 👤 Nutlope User 🕐 Aktualisiert 2026-10-23 📅 Erstellt 2024-05-26