Git Stars Git Stars

#llm-inference Repositories

202
Gesamtzahl der Repositories
1.0M
Gesamtanzahl der Sterne
5,180
Durchschnittliche Sterne/Repo

Insgesamt 202 Repositories

151
nace-ai/kapitsa

Blitzschnelle Inferenz-Engine für Apple Silicon, optimiert für Qwen und Nemotron. Kompatibel mit den APIs von OpenAI und Anthropic. Entwickelt vom Team von nace.ai

nace-ai
⭐ 840 C++ 👤 nace-ai Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2026-10-16
152
warpfront/hipfire

RDNA-nativer LLM-Inferenzmotor in Rust.

warpfront
⭐ 826 Rust 👤 warpfront Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2026-03-21
153
mukel/llama3.java

Llama 3+ Inferenz in reinem Java

mukel
⭐ 818 Java 👤 mukel User 🕐 Aktualisiert 2026-04-24 📅 Erstellt 2024-04-25
154
vince-lam/awesome-local-llms

Vergleichen Sie kompatible Open-Source-LLM-Projekte für den lokalen Betrieb anhand ihrer Kennzahlen, um Popularität und Aktivität zu bewerten.

vince-lam
⭐ 816 Python 👤 vince-lam User 🕐 Aktualisiert 2026-11-16 📅 Erstellt 2024-02-29
155
ARahim3/kaggle-tpu-lab

Open-Modelle der Spitzenklasse auf einer kostenlosen Kaggle-TPU v5e-8: GLM-5.3-Flash 320B MoE (~165 Tok/s, mit unserer eigenen JAX-Engine) und Qwen3.8-27B bf16 (~130 Tok/s), 262k Kontext und Präfix-Caching. Funktioniert mit Claude Code, Codex, opencode und pi.

ARahim3
⭐ 812 Python 👤 ARahim3 User 🕐 Aktualisiert 2026-10-06 📅 Erstellt 2026-08-31
156
tetherto/qvac

Open-Source-SDK für lokale KI – führe KI direkt auf dem Gerät aus, ganz ohne Cloud und API-Schlüssel. Unterstützt GGUF, RAG, die Generierung von Bildern, Musik und Videos, Sprache-zu-Text, P2P-Inferenz und mehr. Plattformübergreifend: Linux, macOS, Windows, Android und iOS.

tetherto
⭐ 806 TypeScript 👤 tetherto Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2026-01-03
157
SimpleBerry/LLaMA-O1

Große Sprachmodelle

SimpleBerry
⭐ 806 Python 👤 SimpleBerry Organization 🕐 Aktualisiert 2024-12-03 📅 Erstellt 2024-10-10
158
D-Keqi/mtla

MTLA: Multi-head Temporal Latent Attention

D-Keqi
⭐ 761 Python 👤 D-Keqi User 🕐 Aktualisiert 2025-10-06 📅 Erstellt 2025-05-19
159
microsoft/BitBLAS

BitBLAS ist eine Bibliothek zur Unterstützung von Matrixmultiplikationen mit gemischter Präzision, insbesondere für die Bereitstellung von quantisierten LLMs.

microsoft
⭐ 751 Python 👤 microsoft Organization 🕐 Aktualisiert 2025-08-06 📅 Erstellt 2024-02-23
160
pegainfer-project/pegainfer

Reine Rust + CUDA LLM-Inferenz-Engine — kein PyTorch, OpenAI-kompatibel, bedient Qwen3 bis Kimi-K2

pegainfer-project
⭐ 748 Rust 👤 pegainfer-project Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2026-02-17
161
ARahim3/mlx-dspark

Bis zu 4× schnelleres LLM-Decoding auf Apple Silicon, verlustfrei. Native MLX-Portierung des spekulativen Decodings DSpark von DeepSeek und DFlash von z-lab — Gemma-4, Qwen3.8, Muse-Glimmer, Nemotron, LFM2.5, Ornith-1.0 und ternäres Bonsai-27B.

ARahim3
⭐ 743 Python 👤 ARahim3 User 🕐 Aktualisiert 2026-11-08 📅 Erstellt 2026-06-29
162
Avarok-Cybersecurity/atlas

Reine Rust-Inferenz-Engine

Avarok-Cybersecurity
⭐ 737 Rust 👤 Avarok-Cybersecurity Organization 🕐 Aktualisiert 2026-11-16 📅 Erstellt 2026-05-05
163
ghimiresunil/LLM-PowerHouse-A-Curated-Guide-for-Large-Language-Models-with-Custom-Training-and-Inferencing

LLM-PowerHouse: Entfesseln Sie das Potenzial von LLMs durch kuratierte Tutorials, Best Practices und gebrauchsfertigen Code für benutzerdefiniertes Training und Inferenz.

ghimiresunil
⭐ 734 Jupyter Notebook 👤 ghimiresunil User 🕐 Aktualisiert 2026-03-13 📅 Erstellt 2023-05-28
164
stoyan-stoyanov/llmflows

LLMFlows – Einfache, explizite und transparente LLM-Apps

stoyan-stoyanov
⭐ 706 Python 👤 stoyan-stoyanov User 🕐 Aktualisiert 2025-02-20 📅 Erstellt 2023-06-26
165
feifeibear/long-context-attention

USP: Einheitliche (auch Hybrid, 2D) Sequenzparallel-Attention für das Training und die Inferenz von Langkontext-Transformer-Modellen

feifeibear
⭐ 697 Python 👤 feifeibear User 🕐 Aktualisiert 2026-09-16 📅 Erstellt 2024-03-27
167
MDK8888/GPTFast

Beschleunigen Sie Ihre Hugging Face Transformers um das 7,6- bis 9-fache. Nativ für Hugging Face und PyTorch.

MDK8888
⭐ 687 Python 👤 MDK8888 User 🕐 Aktualisiert 2024-08-22 📅 Erstellt 2024-02-18
168
google-deepmind/recurrentgemma

Open-Weights-Sprachmodell von Google DeepMind, basierend auf Griffin.

google-deepmind
⭐ 686 Python 👤 google-deepmind Organization 🕐 Aktualisiert 2026-02-06 📅 Erstellt 2024-03-25
169
carloslfu/slotstream

Führen Sie ein 105-GB-KI-Modell auf einem Mac aus, auf dem es nicht vollständig Platz findet. Qwen3.8-Flash-Next in 4-Bit, gestreamt von einer SSD auf Apple-Silicon-Macs mit 16–64 GB Arbeitsspeicher. Vollständig nativ mit Swift, MLX und Metal. Offline, ohne Python. CLI, Swift-Bibliothek sowie Ollama-/OpenAI-/Anthropic-APIs. Funktioniert mit Claude Code und Codex.

carloslfu
⭐ 674 Swift 👤 carloslfu User 🕐 Aktualisiert 2026-11-17 📅 Erstellt 2026-08-28
170
run-ai/genv

GPU-Umgebung und Cluster-Management mit LLM-Unterstützung

run-ai
⭐ 657 Python 👤 run-ai Organization 🕐 Aktualisiert 2024-05-16 📅 Erstellt 2022-09-04
172
NightMean/OlliteRT

Verwandeln Sie Ihr Android-Telefon in einen mit OpenAI kompatiblen LLM-Inferenzserver – vollständig lokal, privat und Open Source

NightMean
⭐ 645 Kotlin 👤 NightMean User 🕐 Aktualisiert 2026-11-07 📅 Erstellt 2026-04-06
173
NotPunchnox/rkllama

Ollama-Alternative für Rockchip NPU: Eine effiziente Lösung zum Ausführen von KI- und Deep-Learning-Modellen auf Rockchip-Geräten mit optimierter NPU-Unterstützung (rkllm)

NotPunchnox
⭐ 631 Python 👤 NotPunchnox User 🕐 Aktualisiert 2026-10-28 📅 Erstellt 2024-12-30
174
sixgpt/miner

Offizieller Miner für SixGPT

sixgpt
⭐ 611 Shell 👤 sixgpt Organization 🕐 Aktualisiert 2024-12-19 📅 Erstellt 2024-10-06
175
felladrin/MiniSearch

Minimalistische Websuchplattform mit einem KI-Assistenten, der direkt in Ihrem Browser läuft. Demo: https://felladrin-minisearch.hf.space

felladrin
⭐ 611 TypeScript 👤 felladrin User 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2023-10-14
176
jaylfc/taOS

Selbstgehostetes KI-Agenten-Betriebssystem. Ihre Erinnerungen, Chats, Agenten und Dateien bleiben auf Ihrer eigenen Hardware – standardmäßig offline, Cloud optional. Bietet Offline-KI-Speicher (taOSmd), selbstgehosteten Multi-Framework-Gruppenchat, einen vollständigen Web-Desktop mit App-Store sowie automatisches Clustering über Ihre vorhandene Consumer-Hardware (Orange/Raspberry Pi, Mac mini, Gaming-PC).

jaylfc
⭐ 609 Python 👤 jaylfc User 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2026-04-05
177
andrewkchan/yalm

Ein weiteres Sprachmodell: LLM-Inferenz in C++/CUDA, keine Bibliotheken außer I/O

andrewkchan
⭐ 597 C++ 👤 andrewkchan User 🕐 Aktualisiert 2025-09-13 📅 Erstellt 2024-10-02
178
huggingface/swift-chat

Mac-App zur Demonstration von Swift-Transformers

huggingface
⭐ 592 Swift 👤 huggingface Organization 🕐 Aktualisiert 2024-07-29 📅 Erstellt 2023-05-11
179
zjhellofss/KuiperLLama

Schulrekrutierung, Herbstrekrutierung, Frühlingsrekrutierung, tolle Praktika-Projekte, führen Sie von Null an bei der Umsetzung eines Large-Model-Inferenz-Frameworks, das Llama2/3 und Qwen2.5 unterstützt.

zjhellofss
⭐ 581 C++ 👤 zjhellofss User 🕐 Aktualisiert 2025-10-28 📅 Erstellt 2024-04-25
180
kacper-daftcode/vLLM-Moet

Moderne MoE-Modelle auf RTX PRO 6000 / RTX 5090 (sm_120): DeepSeek-V4.1-Flash auf 4 RTX PRO 6000, als GPU+CPU-Hybrid auf 4 RTX 5090 und 2-Bit-Experten auf vLLM v0.24.0

kacper-daftcode
⭐ 580 Sass 👤 kacper-daftcode User 🕐 Aktualisiert 2026-11-18 📅 Erstellt 2026-06-15
181
SakanaAI/treequest

Eine Baumsuchebibliothek mit flexibler API für die Skalierung zur Inferenzzeit von LLMs

SakanaAI
⭐ 580 Python 👤 SakanaAI Organization 🕐 Aktualisiert 2026-11-08 📅 Erstellt 2025-06-30
182
devflowinc/uzi

CLI zum parallelen Ausführen einer großen Anzahl von Coding-Agenten mit Git-Arbeitsbäumen

devflowinc
⭐ 579 Go 👤 devflowinc Organization 🕐 Aktualisiert 2025-06-04 📅 Erstellt 2025-05-27
183
rohan-paul/LLM-FineTuning-Large-Language-Models

Feinabstimmung von LLMs (Large Language Models)

rohan-paul
⭐ 574 Jupyter Notebook 👤 rohan-paul User 🕐 Aktualisiert 2025-04-01 📅 Erstellt 2023-10-22
184
StartLuxLabs/StartLux-Prism

Schnelle, exakte Inferenz für StartLux-Decision-Modelle auf NVIDIA-GPUs: Die veröffentlichten GGUF-Dateien laufen über die /v1/systemone-API auf int8- und 4-Bit-Tensor-Kernen und bieten in FP8 eine bis zu 5,3-mal geringere Latenz als vLLM bei bitidentischen Antworten.

StartLuxLabs
⭐ 560 Python 👤 StartLuxLabs Organization 🕐 Aktualisiert 2026-10-27 📅 Erstellt 2026-10-13
185
yassa9/qwen600

Statische, minimalistische, einzelne Charge, nur CUDA, qwen3-0.6B Mini-Inferenz-Engine

yassa9
⭐ 559 Cuda 👤 yassa9 User 🕐 Aktualisiert 2025-09-08 📅 Erstellt 2025-09-06
186
01-ai/Yi-1.5

Yi-1.5 ist eine verbesserte Version von Yi und bietet eine stärkere Leistung in Bezug auf Codierung, Mathematik, logisches Denken und die Fähigkeit zur Befolgung von Anweisungen.

01-ai
⭐ 557 👤 01-ai Organization 🕐 Aktualisiert 2024-11-11 📅 Erstellt 2024-05-10
189
Noeda/rllama

Implementierung des LLaMA-Inferenzcodes mit Rust+OpenCL+AVX2

Noeda
⭐ 551 Rust 👤 Noeda User 🕐 Aktualisiert 2024-02-12 📅 Erstellt 2023-03-11
190
OmniJev/Flide

🔥🔥 Die extrem schnelle Inferenz-Engine für Entscheidungsmodelle

OmniJev
⭐ 550 Python 👤 OmniJev Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2026-10-24
191
Indras-Mirror/Xolotl

Xolotl: Führe DeepSeek-V4.1-Flash mit allen 552B Parametern als lokalen Coding-Agent auf einem einzigen Gaming-PC aus (RTX 4090 + 110 GB RAM): ca. 33 Tok/s im Agentenmodus, ca. 41 im Schnellmodus, 512K Kontext. Dazu Inkling-2-Mini (Thinking Machines, eigene Engine + MTP-Entwurfsmodul), GLM-5.3-Flash, Qwen3.8 und LFM3-Omni. MoE-Experten werden stufenweise über VRAM, RAM und NVMe verteilt (Xolotl Direct). OpenAI- und Anthropic-API.

Indras-Mirror
⭐ 549 C++ 👤 Indras-Mirror User 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2026-10-06
192
mit-han-lab/duo-attention

[ICLR 2025] DuoAttention: Effiziente Langkontext-LLM-Inferenz mittels Retrieval- und Streaming-Heads

mit-han-lab
⭐ 541 Python 👤 mit-han-lab Organization 🕐 Aktualisiert 2025-02-10 📅 Erstellt 2024-10-15
193
microsoft/sarathi-serve

Eine Serving-Engine mit niedriger Latenz und hohem Durchsatz für LLMs

microsoft
⭐ 539 Python 👤 microsoft Organization 🕐 Aktualisiert 2026-11-17 📅 Erstellt 2023-11-02
194
v-modal/awesome-jev-tools

Eine sorgfältig zusammengestellte Liste von Tools für Jev – das System-One-Modell von TypeSafe AI für typisierte Entscheidungen.

v-modal
⭐ 537 👤 v-modal Organization 🕐 Aktualisiert 2026-11-15 📅 Erstellt 2026-09-19
195
brontoguana/krasis

Krasis ist eine hybride LLM-Laufzeitumgebung, die sich auf die effiziente Ausführung größerer Modelle auf Consumer-Hardware mit begrenztem VRAM konzentriert

brontoguana
⭐ 530 C++ 👤 brontoguana User 🕐 Aktualisiert 2026-11-12 📅 Erstellt 2026-02-09
196
ome-projects/ome

Open Model Engine (OME) — Kubernetes-Operator für das Bereitstellen von LLM-Diensten, die GPU-Planung und das Management des Modelllebenszyklus. Unterstützt SGLang, vLLM, TensorRT-LLM und Triton

ome-projects
⭐ 529 Go 👤 ome-projects Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2025-05-19
197
amitshekhariitbhu/llm-inference-engineering

Lerne Schritt für Schritt die Inferenztechnik für LLMs – vom KV-Cache, PagedAttention und kontinuierlichem Batching bis hin zu vLLM, SGLang und GPUs.

amitshekhariitbhu
⭐ 523 Markdown 👤 amitshekhariitbhu User 🕐 Aktualisiert 2026-11-09 📅 Erstellt 2026-08-18
198
huawei-csl/KVarN

KVarN ist ein natives vLLM-Backend zur Quantisierung des KV-Caches für Ihre Agenten: 3–5× mehr Kontext, ein höherer Durchsatz als bei FP16 und eine Genauigkeit auf FP16-Niveau. Keine Kalibrierung, nur ein Flag.

huawei-csl
⭐ 521 Python 👤 huawei-csl Organization 🕐 Aktualisiert 2026-06-22 📅 Erstellt 2026-05-29
199
expectedparrot/edsl

Entwerfen, führen und analysieren Sie die Ergebnisse KI-gestützter Umfragen und Experimente. Simulieren Sie sozialwissenschaftliche Forschung und Marktforschung mit großen Mengen an KI-Agenten und großen Sprachmodellen.

expectedparrot
⭐ 521 Python 👤 expectedparrot Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2024-01-02
200
turboderp-org/exui

Web-UI für ExLlamaV2

turboderp-org
⭐ 513 JavaScript 👤 turboderp-org Organization 🕐 Aktualisiert 2025-02-05 📅 Erstellt 2023-10-29