Git Stars Git Stars

#llm-inference Repositories

202
Gesamtzahl der Repositories
1.0M
Gesamtanzahl der Sterne
5,180
Durchschnittliche Sterne/Repo

Insgesamt 202 Repositories

101
AnswerDotAI/rerankers

Eine leichtgewichtige, abhängigkeitsarme, einheitliche API zur Verwendung aller gängigen Rewriting- und Cross-Encoder-Modelle.

AnswerDotAI
⭐ 1,644 Python 👤 AnswerDotAI Organization 🕐 Aktualisiert 2025-12-20 📅 Erstellt 2024-03-06
102
xLLM-AI/xllm

Eine leistungsstarke Inferenz-Engine für LLM-, VLM- und DiT-Modelle, optimiert für verschiedene KI-Beschleuniger. Sie wird von der OpenAtom Foundation gehostet.

xLLM-AI
⭐ 1,626 C++ 👤 xLLM-AI Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2025-08-12
103
autonomous-ai/Personal-AI-Computer

Open-Source-Builds für KI-Computer, von Desktop-PCs mit 2 GPUs bis zu Servern mit 8 GPUs: CAD, Stückliste, BIOS und Bauanleitungen. Hol dir das Gehäuse-Kit mit PCIe-Risern oder bitte uns um eine kostenlose Passformprüfung.

autonomous-ai
⭐ 1,601 👤 autonomous-ai Organization 🕐 Aktualisiert 2026-11-05 📅 Erstellt 2025-08-22
104
mit-han-lab/smoothquant

[ICML 2023] SmoothQuant: Genauer und effizienter Post-Training-Quantisierung für große Sprachmodelle

mit-han-lab
⭐ 1,576 Python 👤 mit-han-lab Organization 🕐 Aktualisiert 2024-07-12 📅 Erstellt 2022-11-17
105
jax-ml/scaling-book

Startseite für "How To Scale Your Model", ein kurzes, blogartiges Lehrbuch über die Skalierung von LLMs auf TPUs

jax-ml
⭐ 1,537 SCSS 👤 jax-ml Organization 🕐 Aktualisiert 2026-10-19 📅 Erstellt 2025-02-03
106
theroyallab/tabbyAPI

Der offizielle API-Server für Exllama. OAI-kompatibel, leichtgewichtig und schnell.

theroyallab
⭐ 1,531 Python 👤 theroyallab Organization 🕐 Aktualisiert 2026-11-14 📅 Erstellt 2023-11-10
107
felladrin/awesome-ai-web-search

Liste von Software, die die Websuche mit Hilfe von KI ermöglicht: https://hf.co/spaces/felladrin/awesome-ai-web-search

felladrin
⭐ 1,521 HTML 👤 felladrin User 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2024-11-09
108
sauravpanda/BrowserAI

Führen Sie lokale LLMs wie llama, deepseek-distill, kokoro und mehr in Ihrem Browser aus

sauravpanda
⭐ 1,451 TypeScript 👤 sauravpanda User 🕐 Aktualisiert 2026-07-21 📅 Erstellt 2025-01-08
109
Nutlope/pdftochat

Chatten Sie mit Ihren PDFs mit KI

Nutlope
⭐ 1,444 TypeScript 👤 Nutlope User 🕐 Aktualisiert 2026-10-23 📅 Erstellt 2023-09-09
110
taielab/awesome-hacking-lists

Eine kuratierte Sammlung erstklassiger Penetrationstest-Tools und Produktivitätswerkzeuge in verschiedenen Domänen. Treten Sie uns bei, um Ihr Hacking-Toolkit zu erkunden, beizutragen und zu erweitern!

taielab
⭐ 1,404 👤 taielab User 🕐 Aktualisiert 2025-12-04 📅 Erstellt 2020-06-12
112
lean-dojo/LeanCopilot

LLMs als Copiloten für den Theorembeweis in Lean

lean-dojo
⭐ 1,347 C++ 👤 lean-dojo Organization 🕐 Aktualisiert 2026-11-16 📅 Erstellt 2023-09-09
113
hemingkx/SpeculativeDecodingPapers

📰 Lesenswertes: Publikationen und Blogs zu Speculative Decoding ⚡️

hemingkx
⭐ 1,309 👤 hemingkx User 🕐 Aktualisiert 2026-06-27 📅 Erstellt 2023-09-20
114
aigrantsindia/aigrantsindia

API-Schlüssel für KI-Hackathons erhalten

aigrantsindia
⭐ 1,287 👤 aigrantsindia User 🕐 Aktualisiert 2025-06-09 📅 Erstellt 2025-02-22
115
wici-ai/inferssd

Führe Modelle aus, die größer sind als dein RAM oder VRAM, indem du MoE-Experten von einer SSD streamst. Basiert auf llama.cpp.

wici-ai
⭐ 1,277 C++ 👤 wici-ai Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2026-10-22
116
patchy631/time-to-first-token

Ein 10-Wochen-Plan mit 30 Minuten täglich für das Bereitstellen und Optimieren von LLM-Inferenz. vLLM, SGLang, Quantisierung, spekulatives Decoding und Benchmarking.

patchy631
⭐ 1,245 HTML 👤 patchy631 User 🕐 Aktualisiert 2026-08-14 📅 Erstellt 2026-08-02
117
Azure/AzurePublicDataset

Microsoft Azure Traces

Azure
⭐ 1,231 Jupyter Notebook 👤 Azure Organization 🕐 Aktualisiert 2026-11-17 📅 Erstellt 2017-08-18
118
eagle-hq/EAGLE-4

Offizieller Inferenzcode von EAGLE-4

eagle-hq
⭐ 1,220 Python 👤 eagle-hq Organization 🕐 Aktualisiert 2026-11-13 📅 Erstellt 2026-10-20
119
jmaczan/tiny-vllm

Baue deine eigene Hochleistungs-LLM-Inferenz-Engine in C++ und CUDA - eine kleinere Version von vLLM

jmaczan
⭐ 1,207 C++ 👤 jmaczan User 🕐 Aktualisiert 2026-11-15 📅 Erstellt 2026-02-09
120
StayLameBro/backburner

Dein iPhone unterstützt deinen Mac beim Ausführen eines 27B-Modells: schnelleres Einlesen von Prompts und mehr Kontext über ein USB-C-Kabel

StayLameBro
⭐ 1,195 Python 👤 StayLameBro User 🕐 Aktualisiert 2026-11-07 📅 Erstellt 2026-10-01
121
Tencent/hpc-ops

Bibliothek für hochleistungsfähige LLM-Inferenzoperatoren

Tencent
⭐ 1,193 C++ 👤 Tencent Organization 🕐 Aktualisiert 2026-11-19 📅 Erstellt 2026-01-20
122
character-ai/prompt-poet

Strafft und vereinfacht die Prompt-Gestaltung für Entwickler und technisch nicht versierte Benutzer mit einem Low-Code-Ansatz.

character-ai
⭐ 1,160 Python 👤 character-ai Organization 🕐 Aktualisiert 2026-02-12 📅 Erstellt 2024-07-17
123
microsoft/onnxruntime-genai

Generative KI mit ONNX Runtime

microsoft
⭐ 1,158 C++ 👤 microsoft Organization 🕐 Aktualisiert 2026-11-17 📅 Erstellt 2023-11-13
⭐ 1,090 Python 👤 thinking-machines-lab Organization 🕐 Aktualisiert 2025-11-04 📅 Erstellt 2025-09-10
125
zhuzilin/ring-flash-attention

Ring-Attention-Implementierung mit Flash-Attention

zhuzilin
⭐ 1,054 Python 👤 zhuzilin User 🕐 Aktualisiert 2025-09-10 📅 Erstellt 2024-02-21
126
jondurbin/airoboros

Anpassbare Implementierung des Self-Instruct-Papers.

jondurbin
⭐ 1,050 Python 👤 jondurbin User 🕐 Aktualisiert 2024-03-07 📅 Erstellt 2023-04-29
⭐ 1,041 Python 👤 huggingface Organization 🕐 Aktualisiert 2026-09-24 📅 Erstellt 2023-10-06
128
tspeterkim/flash-attention-minimal

Flash Attention in ~100 Zeilen CUDA (nur Forward-Pass)

tspeterkim
⭐ 1,036 Cuda 👤 tspeterkim User 🕐 Aktualisiert 2024-12-30 📅 Erstellt 2024-03-07
⭐ 1,027 Python 👤 microsoft Organization 🕐 Aktualisiert 2024-01-04 📅 Erstellt 2023-07-17
132
MoonshotAI/checkpoint-engine

Checkpoint-engine ist eine einfache Middleware zur Aktualisierung von Modellgewichten in LLM-Inferenz-Engines

MoonshotAI
⭐ 1,026 Python 👤 MoonshotAI Organization 🕐 Aktualisiert 2026-10-22 📅 Erstellt 2025-09-08
133
shyamsaktawat/OpenAlpha_Evolve

OpenAlpha_Evolve ist ein Open-Source-Python-Framework, das von der bahnbrechenden Forschung an autonomen Coding-Agenten wie DeepMinds AlphaEvolve inspiriert ist.

shyamsaktawat
⭐ 1,021 Python 👤 shyamsaktawat User 🕐 Aktualisiert 2025-05-31 📅 Erstellt 2025-05-17
134
tingaicompass/AI-Compass

"AI-Compass" wird der Community die Richtung vorgeben, wie sie im Ozean der KI-Technologien navigiert. Ob Sie Anfänger oder fortgeschrittener Entwickler sind, hier finden Sie Wege zu allen wichtigen KI-Entwicklungen. Ziel ist es, Entwicklern zu helfen, KI’s zentrale Konzepte, Haupttechnologien und Zukunftstrends systematisch zu verstehen und durch Praxis den gesamten Prozess vom Theoriebereich bis hin zur Umsetzung zu beherrschen.

tingaicompass
⭐ 1,000 Python 👤 tingaicompass User 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2025-05-27
135
likejazz/llama3.np

llama3.np ist eine reine NumPy-Implementierung für das Llama 3-Modell.

likejazz
⭐ 991 Python 👤 likejazz User 🕐 Aktualisiert 2025-04-27 📅 Erstellt 2024-05-13
136
convergence-ai/proxy-lite

Eine Mini-, Open-Weights-Version unseres Proxy-Assistenten.

convergence-ai
⭐ 989 Python 👤 convergence-ai Organization 🕐 Aktualisiert 2025-02-26 📅 Erstellt 2025-02-10
137
feder-cr/jev

jevos: eine Open-Source-Alternative zu Jev und Microsoft-Decision-1. Ja/Nein-Entscheidungen, Auswahlmöglichkeiten und Bewertungen mit Wahrscheinlichkeiten – auf der CPU Ihres Laptops.

feder-cr
⭐ 970 C++ 👤 feder-cr User 🕐 Aktualisiert 2026-10-18 📅 Erstellt 2024-08-15
138
dalisoft/awesome-hosting

Liste toller Hosting-Angebote, sortiert nach minimalem Planpreis

dalisoft
⭐ 970 👤 dalisoft User 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2019-05-31
139
microsoft/T-MAC

Low-Bit LLM-Inferenz auf CPU/NPU mit Lookup-Tabelle

microsoft
⭐ 964 C++ 👤 microsoft Organization 🕐 Aktualisiert 2025-06-05 📅 Erstellt 2024-02-02
140
triton-inference-server/tensorrtllm_backend

Das Triton TensorRT-LLM Backend

triton-inference-server
⭐ 944 👤 triton-inference-server Organization 🕐 Aktualisiert 2026-11-02 📅 Erstellt 2023-09-12
141
foldl/chatllm.cpp

Reine C++-Implementierung mehrerer Modelle für Echtzeit-Chat auf Ihrem Computer (CPU & GPU)

foldl
⭐ 942 C++ 👤 foldl User 🕐 Aktualisiert 2026-11-15 📅 Erstellt 2023-12-02
142
guidance-ai/llguidance

Superschnelle strukturierte Ausgaben

guidance-ai
⭐ 917 Rust 👤 guidance-ai Organization 🕐 Aktualisiert 2026-11-18 📅 Erstellt 2024-07-25
143
kubernetes-sigs/lws

LeaderWorkerSet & DisaggregatedSet: Kubernetes-APIs für verteiltes und disaggregiertes KI-Serving

kubernetes-sigs
⭐ 909 Go 👤 kubernetes-sigs Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2024-02-22
144
zhihu/ZhiLight

Eine hochoptimierte LLM-Inferenzbeschleunigungs-Engine für Llama und seine Varianten.

zhihu
⭐ 906 C++ 👤 zhihu Organization 🕐 Aktualisiert 2026-03-18 📅 Erstellt 2024-12-06
145
harleyszhang/llm_note

LLM-Notizen, einschließlich Modellinferenz, Transformer-Modellstruktur und Notizen zur Analyse von LLM-Framework-Code.

harleyszhang
⭐ 897 Python 👤 harleyszhang User 🕐 Aktualisiert 2026-08-19 📅 Erstellt 2024-09-18
148
YassKhazzan/openperplex_backend_os

openperplex ist eine quelloffene KI-Suchmaschine

YassKhazzan
⭐ 889 Python 👤 YassKhazzan User 🕐 Aktualisiert 2024-08-04 📅 Erstellt 2024-08-03
149
HazyResearch/Megakernels

Kerne, von der Mega-Sorte :)

HazyResearch
⭐ 885 Python 👤 HazyResearch Organization 🕐 Aktualisiert 2026-05-26 📅 Erstellt 2025-05-27
150
eastriverlee/LLM.swift

LLM.swift ist eine einfache und lesbare Bibliothek, die es Ihnen ermöglicht, problemlos mit großen Sprachmodellen lokal für macOS, iOS, watchOS, tvOS und visionOS zu interagieren.

eastriverlee
⭐ 883 Swift 👤 eastriverlee User 🕐 Aktualisiert 2026-07-19 📅 Erstellt 2023-12-02