Git Stars Git Stars

#vllm Repositories

133
Gesamtzahl der Repositories
554,542
Gesamtanzahl der Sterne
4,169
Durchschnittliche Sterne/Repo
Programmiersprachen: Python Go HTML C++

Insgesamt 134 Repositories

51
allenai/Olmo-core

PyTorch-Bausteine für das OLMo-Ökosystem

allenai
⭐ 1,810 Python 👤 allenai Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2024-03-23
52
vllm-project/guidellm

Bewerten und verbessern Sie Ihre LLM-Bereitstellungen für reale Inferenzanforderungen

vllm-project
⭐ 1,800 Python 👤 vllm-project Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2024-05-29
53
StartLuxLabs/StartLux-Decision

Offene Entscheidungsmodelle von 0,8B bis 27B: eine kalibrierte Wahrscheinlichkeit für jede Option in einem Durchgang und nur bei Unsicherheit ein kurzer Gedankengang. Engine für vLLM, llama.cpp und MLX.

StartLuxLabs
⭐ 1,780 Python 👤 StartLuxLabs Organization 🕐 Aktualisiert 2026-10-23 📅 Erstellt 2026-09-29
54
intel/auto-round

Effizienz der Post-Training-Quantisierung, Genauigkeit der quantisierungsbewussten Trainingsmethode

intel
⭐ 1,706 Python 👤 intel Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2024-01-04
56
waybarrios/vllm-mlx

Hochleistungs-LLM-Inferenzserver, kompatibel mit OpenAI und Anthropic, für Apple Silicon. Natives MLX, kontinuierliches Batching, multimodale Modelle, MCP-Toolaufrufe und Claude-Code-Unterstützung.

waybarrios
⭐ 1,657 Python 👤 waybarrios User 🕐 Aktualisiert 2026-11-07 📅 Erstellt 2025-12-06
57
nokia-applied-research/AnyJev

Verwandle jedes LLM in ein Entscheidungsmodell im Jev-Stil: typisierte Entscheidungen, echte Wahrscheinlichkeiten, kein Training. (Wird laufend aktualisiert; Issues und PR-Anfragen sind willkommen)

nokia-applied-research
⭐ 1,632 Python 👤 nokia-applied-research Organization 🕐 Aktualisiert 2026-10-21 📅 Erstellt 2026-09-21
58
autonomous-ai/Personal-AI-Computer

Open-Source-Builds für KI-Computer, von Desktop-PCs mit 2 GPUs bis zu Servern mit 8 GPUs: CAD, Stückliste, BIOS und Bauanleitungen. Hol dir das Gehäuse-Kit mit PCIe-Risern oder bitte uns um eine kostenlose Passformprüfung.

autonomous-ai
⭐ 1,601 👤 autonomous-ai Organization 🕐 Aktualisiert 2026-11-05 📅 Erstellt 2025-08-22
⭐ 1,599 Python 👤 databricks Organization 🕐 Aktualisiert 2026-03-25 📅 Erstellt 2023-01-26
61
tencent-ailab/persona-hub

Offizielles Repo für das Paper „Skalierung der Erstellung synthetischer Daten mit 1.000.000.000 Personen“

tencent-ailab
⭐ 1,585 Python 👤 tencent-ailab User 🕐 Aktualisiert 2025-02-19 📅 Erstellt 2024-06-22
62
verl-project/verl-omni

Multimodales RL-Trainingsframework für Diffusions- und Omni-Modelle

verl-project
⭐ 1,560 Python 👤 verl-project Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2026-04-21
64
BICLab/SpikingBrain-7B

Spiking Brain-inspired Large Models, die hybride effiziente Attention, MoE-Module und Spike-Kodierung in ihre Architektur integrieren

BICLab
⭐ 1,432 Python 👤 BICLab User 🕐 Aktualisiert 2026-05-14 📅 Erstellt 2025-09-03
65
MoonshotAI/Kimi-Dev

Open-Source-Codierungs-LLM für Software-Engineering-Aufgaben

MoonshotAI
⭐ 1,357 Python 👤 MoonshotAI Organization 🕐 Aktualisiert 2025-09-30 📅 Erstellt 2025-06-16
66
ModelCloud/GPTQModel

Toolkit zur Quantisierung (Komprimierung) von LLM-Modellen mit Hardwarebeschleunigung für Nvidia CUDA, AMD ROCm, Intel XPU, Tenstorrent, Huawei-Ascend-NPUs und Intel-/AMD-/Apple-CPUs über HF, vLLM und SGLang.

ModelCloud
⭐ 1,294 Python 👤 ModelCloud Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2024-06-17
67
kubeai-project/kubeai

AI Inference Operator für Kubernetes. Der einfachste Weg, ML-Modelle in der Produktion bereitzustellen. Unterstützt VLMs, LLMs, Embeddings und Speech-to-Text.

kubeai-project
⭐ 1,294 Go 👤 kubeai-project Organization 🕐 Aktualisiert 2026-11-16 📅 Erstellt 2023-10-21
⭐ 1,293 Python 👤 Visual-Agent Organization 🕐 Aktualisiert 2025-11-20 📅 Erstellt 2025-03-15
69
OpenBuddy/OpenBuddy

Offener mehrsprachiger Chatbot für jedermann

OpenBuddy
⭐ 1,274 👤 OpenBuddy Organization 🕐 Aktualisiert 2025-06-08 📅 Erstellt 2023-04-26
70
patchy631/time-to-first-token

Ein 10-Wochen-Plan mit 30 Minuten täglich für das Bereitstellen und Optimieren von LLM-Inferenz. vLLM, SGLang, Quantisierung, spekulatives Decoding und Benchmarking.

patchy631
⭐ 1,245 HTML 👤 patchy631 User 🕐 Aktualisiert 2026-08-14 📅 Erstellt 2026-08-02
71
Ksuriuri/index-tts-vllm

Hinzugefügt vLLM-Unterstützung zu IndexTTS für schnellere Inferenz.

Ksuriuri
⭐ 1,244 Python 👤 Ksuriuri User 🕐 Aktualisiert 2026-04-13 📅 Erstellt 2025-05-03
72
eagle-hq/EAGLE-4

Offizieller Inferenzcode von EAGLE-4

eagle-hq
⭐ 1,220 Python 👤 eagle-hq Organization 🕐 Aktualisiert 2026-11-13 📅 Erstellt 2026-10-20
73
bricks-cloud/BricksLLM

☁️ Unternehmensfreundliches API-Gateway, das Ihnen hilft, Kosten- oder Ratenbegrenzungen pro API-Schlüssel zu überwachen und durchzusetzen. Erhalten Sie eine granulare Zugriffskontrolle und Überwachung pro Benutzer, Anwendung oder Umgebung. Unterstützt OpenAI, Azure OpenAI, Anthropic, vLLM und Open-Source-LLMs.

bricks-cloud
⭐ 1,210 Go 👤 bricks-cloud Organization 🕐 Aktualisiert 2025-01-05 📅 Erstellt 2023-07-18
74
jmaczan/tiny-vllm

Baue deine eigene Hochleistungs-LLM-Inferenz-Engine in C++ und CUDA - eine kleinere Version von vLLM

jmaczan
⭐ 1,207 C++ 👤 jmaczan User 🕐 Aktualisiert 2026-11-15 📅 Erstellt 2026-02-09
75
MoonshotAI/Kimi-VL

Kimi-VL: Mixture-of-Experts Vision-Language Model für multimodales Schlussfolgern, Langkontext-Verständnis und starke Agentenfähigkeiten

MoonshotAI
⭐ 1,203 👤 MoonshotAI Organization 🕐 Aktualisiert 2025-07-15 📅 Erstellt 2025-04-09
76
BytedTsinghua-SIA/MemAgent

Ein MemAgent-Framework, das auf 3,5 Millionen erweitert werden kann, zusammen mit einem Trainings-Framework für das RL-Training von beliebigen Agenten-Workflows.

BytedTsinghua-SIA
⭐ 1,118 Python 👤 BytedTsinghua-SIA Organization 🕐 Aktualisiert 2026-05-12 📅 Erstellt 2025-06-24
⭐ 1,090 Python 👤 thinking-machines-lab Organization 🕐 Aktualisiert 2025-11-04 📅 Erstellt 2025-09-10
78
prometheus-eval/prometheus-eval

Bewerten Sie die Antwort Ihres LLM mit Prometheus und GPT4 💯

prometheus-eval
⭐ 1,087 Python 👤 prometheus-eval Organization 🕐 Aktualisiert 2025-04-25 📅 Erstellt 2024-04-18
79
GAIR-NLP/LIMO

[COLM 2025] LIMO: Weniger ist mehr für Schlussfolgerungen

GAIR-NLP
⭐ 1,081 Python 👤 GAIR-NLP Organization 🕐 Aktualisiert 2025-07-30 📅 Erstellt 2025-02-04
80
Pokee-AI/PokeeResearchOSS

Pokee Deep Research Model Open Source Repo

Pokee-AI
⭐ 1,075 Python 👤 Pokee-AI Organization 🕐 Aktualisiert 2025-10-22 📅 Erstellt 2025-10-17
81
Tencent-Hunyuan/UniRL

UniRL ist ein Framework für das Reinforcement Learning vereinheitlichter multimodaler Modelle

Tencent-Hunyuan
⭐ 1,051 Python 👤 Tencent-Hunyuan Organization 🕐 Aktualisiert 2026-11-16 📅 Erstellt 2026-06-08
83
ZJUI-AI4H/Hulu-Med

Ein transparentes Generalistenmodell für ein ganzheitliches medizinisches Bild-Sprach-Verständnis

ZJUI-AI4H
⭐ 1,031 Python 👤 ZJUI-AI4H User 🕐 Aktualisiert 2026-08-30 📅 Erstellt 2025-10-08
84
convergence-ai/proxy-lite

Eine Mini-, Open-Weights-Version unseres Proxy-Assistenten.

convergence-ai
⭐ 989 Python 👤 convergence-ai Organization 🕐 Aktualisiert 2025-02-26 📅 Erstellt 2025-02-10
86
alvarobartt/hf-mem

Ein CLI zur Schätzung des Speicherbedarfs für Inferenz bei Hugging Face Modellen, geschrieben in Python.

alvarobartt
⭐ 956 Python 👤 alvarobartt User 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2025-12-22
87
Valen-Team/Valen

Offene multimodale Entscheidungsmodelle mit 0,8B bis 27B Parametern für Text, Bilder und Videos. Treffen Sie Entscheidungen anhand von Wahrscheinlichkeiten für eigene Kandidaten und lokalisieren Sie Objekte mit Begrenzungsrahmen, statt Text zu generieren. Kostenlose API, ONNX, GGUF, vLLM und SGLang; Fine-Tuning-Code enthalten.

Valen-Team
⭐ 932 Python 👤 Valen-Team Organization 🕐 Aktualisiert 2026-11-15 📅 Erstellt 2026-09-23
88
XHToken/Spark-X2.6

Offene Modellreihe Spark-x2.6. Die Grenzen agentischer Fähigkeiten von On-Device-Modellen erweitern

XHToken
⭐ 927 👤 XHToken Organization 🕐 Aktualisiert 2026-11-04 📅 Erstellt 2026-08-24
89
harleyszhang/llm_note

LLM-Notizen, einschließlich Modellinferenz, Transformer-Modellstruktur und Notizen zur Analyse von LLM-Framework-Code.

harleyszhang
⭐ 897 Python 👤 harleyszhang User 🕐 Aktualisiert 2026-08-19 📅 Erstellt 2024-09-18
90
th1nhhdk/local_ai_ocr

Eine lokale, offline (nach der Ersteinrichtung), tragbare OCR-Software, die Bilder und PDF-Dateien verarbeiten kann, unter Verwendung von DeepSeek-OCR-2 AI (direkt auf Ihrem Rechner laufend).

th1nhhdk
⭐ 892 Python 👤 th1nhhdk User 🕐 Aktualisiert 2026-07-05 📅 Erstellt 2025-11-21
91
triton-inference-server/tutorials

Dieses Repository enthält Tutorials und Beispiele für den Triton Inference Server

triton-inference-server
⭐ 869 Python 👤 triton-inference-server Organization 🕐 Aktualisiert 2026-11-17 📅 Erstellt 2022-12-16
92
whitecircle/halo

Halo ist ein von White Circle entwickeltes Open-Source-Framework zum Trainieren großer Sprachmodelle und multimodaler Modelle

whitecircle
⭐ 868 Python 👤 whitecircle Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2026-08-26
93
varunvasudeva1/llm-server-docs

End-to-End-Dokumentation zum Einrichten Ihres eigenen lokalen und vollständig privaten LLM-Servers unter Debian. Ausgestattet mit Chat, Websuche, RAG, Modellverwaltung, MCP-Servern, Bilderzeugung und TTS.

varunvasudeva1
⭐ 853 👤 varunvasudeva1 User 🕐 Aktualisiert 2026-06-30 📅 Erstellt 2024-03-26
94
pgalko/BambooAI

Eine KI-gestützte Datenanalyse-Workbench, entwickelt für Transparenz, Reproduzierbarkeit und die Kontrolle durch Nutzer. Prüfen Sie den Code und die Belege hinter den Ergebnissen, verifizieren Sie Berechnungen durch erneutes Ausführen und wählen Sie aus einer großen Auswahl an Modellen, darunter lokale Modelle mit offenen Gewichten.

pgalko
⭐ 848 Python 👤 pgalko User 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2023-05-07
95
TideDra/lmm-r1

Erweitern Sie OpenRLHF, um das LMM-RL-Training zur Reproduktion von DeepSeek-R1 bei multimodalen Aufgaben zu unterstützen.

TideDra
⭐ 843 Python 👤 TideDra User 🕐 Aktualisiert 2025-05-14 📅 Erstellt 2025-02-13
96
jakobdylanc/llmcord

Mach Discord zu deiner LLM-Oberfläche

jakobdylanc
⭐ 843 Python 👤 jakobdylanc User 🕐 Aktualisiert 2026-08-14 📅 Erstellt 2023-05-08
97
OpenBMB/AgentCPM

Eine End-to-End-Infrastruktur zum Trainieren und Bewerten verschiedener LLM-Agenten.

OpenBMB
⭐ 835 Python 👤 OpenBMB Organization 🕐 Aktualisiert 2026-10-22 📅 Erstellt 2026-01-08
98
Tencent-Hunyuan/Hunyuan-A13B

Tencent Hunyuan A13B (kurz als Hunyuan-A13B), ein innovatives und quelloffenes LLM, das auf einer feingranularen MoE-Architektur basiert.

Tencent-Hunyuan
⭐ 815 Python 👤 Tencent-Hunyuan Organization 🕐 Aktualisiert 2025-07-08 📅 Erstellt 2025-06-27
99
ARahim3/kaggle-tpu-lab

Open-Modelle der Spitzenklasse auf einer kostenlosen Kaggle-TPU v5e-8: GLM-5.3-Flash 320B MoE (~165 Tok/s, mit unserer eigenen JAX-Engine) und Qwen3.8-27B bf16 (~130 Tok/s), 262k Kontext und Präfix-Caching. Funktioniert mit Claude Code, Codex, opencode und pi.

ARahim3
⭐ 812 Python 👤 ARahim3 User 🕐 Aktualisiert 2026-10-06 📅 Erstellt 2026-08-31
100
ByteDance-Seed/Seed-Coder

Seed-Coder ist eine Familie von Open-Source-LLMs für leichtgewichtigen Code, bestehend aus Basis-, Instruct- und Reasoning-Modellen, entwickelt von ByteDance Seed.

ByteDance-Seed
⭐ 755 👤 ByteDance-Seed Organization 🕐 Aktualisiert 2025-06-06 📅 Erstellt 2025-04-21