Git Stars Git Stars

#vllm Repositories

133
Gesamtzahl der Repositories
554,542
Gesamtanzahl der Sterne
4,169
Durchschnittliche Sterne/Repo

Insgesamt 134 Repositories

101
ModelTC/LightCompress

[EMNLP 2024 & AAAI 2026] Ein leistungsstarkes Toolkit zum Komprimieren großer Modelle, einschließlich LLMs, VLMs und Video-Generierungsmodellen.

ModelTC
⭐ 755 Python 👤 ModelTC Organization 🕐 Aktualisiert 2026-05-14 📅 Erstellt 2024-03-06
102
pegainfer-project/pegainfer

Reine Rust + CUDA LLM-Inferenz-Engine — kein PyTorch, OpenAI-kompatibel, bedient Qwen3 bis Kimi-K2

pegainfer-project
⭐ 748 Rust 👤 pegainfer-project Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2026-02-17
103
smg-project/smg

Engine-agnostisches LLM-Gateway in Rust. Vollständige Kompatibilität mit den OpenAI- und Anthropic-APIs für vLLM, TRT-LLM, TokenSpeed, SGLang, OpenAI, Gemini und weitere. Branchenweit erste gRPC-Pipeline, KV-Cache-bewusstes Routing, Chatverlauf, Tokenisierungs-Caching, Responses API, Embeddings, WASM-Plugins, MCP und mandantenfähige Authentifizierung.

smg-project
⭐ 736 Rust 👤 smg-project Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2025-11-22
104
microsoft/vidur

Genauer, großangelegter und erweiterbarer Simulator für LLM-Inferenzsysteme

microsoft
⭐ 733 Python 👤 microsoft Organization 🕐 Aktualisiert 2026-08-24 📅 Erstellt 2023-11-02
106
SimonZeng7108/efficientsam3

EfficientSAM3 komprimiert SAM3 durch progressive Wissensdestillation in leichte, edge-freundliche Modelle für schnelle promptbare Konzeptsegmentierung und -verfolgung.

SimonZeng7108
⭐ 713 Jupyter Notebook 👤 SimonZeng7108 User 🕐 Aktualisiert 2026-08-11 📅 Erstellt 2025-10-16
⭐ 703 Python 👤 stepfun-ai Organization 🕐 Aktualisiert 2026-04-29 📅 Erstellt 2025-11-11
108
ChenxinAn-fdu/POLARIS

Skalierung von RL auf fortgeschrittenen Denkmodellen

ChenxinAn-fdu
⭐ 697 Python 👤 ChenxinAn-fdu User 🕐 Aktualisiert 2025-10-20 📅 Erstellt 2025-06-18
109
IEIT-Yuan/Yuan-2.0

Yuan 2.0 Large Language Model

IEIT-Yuan
⭐ 689 Python 👤 IEIT-Yuan Organization 🕐 Aktualisiert 2024-07-11 📅 Erstellt 2023-11-26
110
mlabonne/llm-autoeval

Bewerten Sie Ihre LLMs automatisch in Google Colab

mlabonne
⭐ 678 Python 👤 mlabonne User 🕐 Aktualisiert 2024-05-07 📅 Erstellt 2024-01-01
111
owenliang/qwen-vllm

Tongyi Qianwen VLLM Inferenz-Deployment-DEMO

owenliang
⭐ 637 Python 👤 owenliang User 🕐 Aktualisiert 2024-03-28 📅 Erstellt 2024-01-21
112
firstbatchxyz/mem-agent-mcp

mem-agent mcp server

firstbatchxyz
⭐ 628 Python 👤 firstbatchxyz Organization 🕐 Aktualisiert 2025-11-17 📅 Erstellt 2025-09-01
113
mlfoundations/evalchemy

Automatische Auswertungen für LLMs

mlfoundations
⭐ 617 HTML 👤 mlfoundations Organization 🕐 Aktualisiert 2026-11-12 📅 Erstellt 2024-11-15
114
jaylfc/taOS

Selbstgehostetes KI-Agenten-Betriebssystem. Ihre Erinnerungen, Chats, Agenten und Dateien bleiben auf Ihrer eigenen Hardware – standardmäßig offline, Cloud optional. Bietet Offline-KI-Speicher (taOSmd), selbstgehosteten Multi-Framework-Gruppenchat, einen vollständigen Web-Desktop mit App-Store sowie automatisches Clustering über Ihre vorhandene Consumer-Hardware (Orange/Raspberry Pi, Mac mini, Gaming-PC).

jaylfc
⭐ 609 Python 👤 jaylfc User 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2026-04-05
115
HuiResearch/FlashTTS

Bietet hochwertige chinesische Sprachsynthese und Klonen von Stimmen, basierend auf Modellen wie SparkTTS und OrpheusTTS.

HuiResearch
⭐ 603 Python 👤 HuiResearch User 🕐 Aktualisiert 2025-05-18 📅 Erstellt 2025-03-13
116
MoonshotAI/K2-Vendor-Verifier

Präzision aller Kimi K2 API Anbieter überprüfen

MoonshotAI
⭐ 602 Python 👤 MoonshotAI Organization 🕐 Aktualisiert 2026-02-14 📅 Erstellt 2025-09-09
117
llmmanorg/llmman

Führen Sie jeden Agenten auf jedem Modell aus; die Modelle werden als OCI-Images gespeichert

llmmanorg
⭐ 598 Rust 👤 llmmanorg Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2026-03-22
119
kacper-daftcode/vLLM-Moet

Moderne MoE-Modelle auf RTX PRO 6000 / RTX 5090 (sm_120): DeepSeek-V4.1-Flash auf 4 RTX PRO 6000, als GPU+CPU-Hybrid auf 4 RTX 5090 und 2-Bit-Experten auf vLLM v0.24.0

kacper-daftcode
⭐ 580 Sass 👤 kacper-daftcode User 🕐 Aktualisiert 2026-11-18 📅 Erstellt 2026-06-15
120
raids-lab/crater

Crater ist eine cloud-native KI-Trainings- und Inferenzplattform.

raids-lab
⭐ 578 Go 👤 raids-lab Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2025-06-08
⭐ 568 Python 👤 pipecat-ai Organization 🕐 Aktualisiert 2026-06-03 📅 Erstellt 2026-01-01
122
fufankeji/DeepSeek-OCR-Web

Plug-and-Play DeepSeek OCR Dokumentenanalyse Web Studio

fufankeji
⭐ 568 TypeScript 👤 fufankeji User 🕐 Aktualisiert 2025-10-27 📅 Erstellt 2025-10-23
123
spark-arena/sparkrun

sparkrun – LLM-Inferenz-Workloads auf NVIDIA-DGX-Spark-Systemen starten, verwalten und stoppen. Live-Support: https://discord.com/invite/GH5kRgv6ZD

spark-arena
⭐ 567 Python 👤 spark-arena Organization 🕐 Aktualisiert 2026-11-17 📅 Erstellt 2026-02-16
124
FlagOpen/RoboBrain

[CVPR 2025] RoboBrain: Ein einheitliches Gehirnmodell für die robotische Manipulation vom Abstrakten zum Konkreten. Offizielles Repository.

FlagOpen
⭐ 564 Python 👤 FlagOpen Organization 🕐 Aktualisiert 2025-10-13 📅 Erstellt 2025-03-27
125
llumnix-project/llumnix-ray

Effiziente und einfache Multi-Instanz-LLM-Bereitstellung

llumnix-project
⭐ 561 Python 👤 llumnix-project Organization 🕐 Aktualisiert 2026-03-12 📅 Erstellt 2024-05-20
126
01-ai/Yi-1.5

Yi-1.5 ist eine verbesserte Version von Yi und bietet eine stärkere Leistung in Bezug auf Codierung, Mathematik, logisches Denken und die Fähigkeit zur Befolgung von Anweisungen.

01-ai
⭐ 557 👤 01-ai Organization 🕐 Aktualisiert 2024-11-11 📅 Erstellt 2024-05-10
128
micytao/vllm-playground

Eine moderne Weboberfläche zur Verwaltung und Interaktion mit vLLM-Servern (www.github.com/vllm-project/vllm). Unterstützt sowohl GPU- als auch CPU-Modi, mit speziellen Optimierungen für macOS Apple Silicon und den Unternehmenseinsatz auf OpenShift/Kubernetes.

micytao
⭐ 548 JavaScript 👤 micytao User 🕐 Aktualisiert 2026-11-07 📅 Erstellt 2025-11-01
129
Yzw202011/OmniSpace

Lokal priorisierte Full-Stack-KI-Kreativwerkstatt: fünf Module – KI-Chat, KI-Comics, Comic-Drama-Erstellung, Schreibbereich und Wissenslernen; lokale Inferenz mit mehreren Engines (vLLM / llama.cpp / Transformers), intelligente VRAM-Verwaltung, Bulkhead-Isolierung und Selbstheilung. Nur zu Lernzwecken; Austausch und Hinweise sind willkommen. (Aufgrund von Protokollbeschränkungen können die neuesten Fortschritte – mit Ausnahme des Plugin-Systems – derzeit nicht in das Repository übernommen werden.)

Yzw202011
⭐ 536 Python 👤 Yzw202011 User 🕐 Aktualisiert 2026-09-20 📅 Erstellt 2026-08-23
130
ome-projects/ome

Open Model Engine (OME) — Kubernetes-Operator für das Bereitstellen von LLM-Diensten, die GPU-Planung und das Management des Modelllebenszyklus. Unterstützt SGLang, vLLM, TensorRT-LLM und Triton

ome-projects
⭐ 529 Go 👤 ome-projects Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2025-05-19
131
huawei-csl/KVarN

KVarN ist ein natives vLLM-Backend zur Quantisierung des KV-Caches für Ihre Agenten: 3–5× mehr Kontext, ein höherer Durchsatz als bei FP16 und eine Genauigkeit auf FP16-Niveau. Keine Kalibrierung, nur ein Flag.

huawei-csl
⭐ 521 Python 👤 huawei-csl Organization 🕐 Aktualisiert 2026-06-22 📅 Erstellt 2026-05-29
132
adventists-ai/sophon-realtime

Offene Vollduplex-Sprachmodelle, die deinen Tonfall erkennen und selbst mit einem passenden Tonfall sprechen. Eine GPU mit vLLM-Omni oder vollständig offline auf einem Mac mit MLX. Zero-Shot-Sprachklonen, kompatibel mit OpenAI Realtime / GPT-Live, plus kostenloser Testzugang zur gehosteten API. Apache-2.0.

adventists-ai
⭐ 510 Python 👤 adventists-ai Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2026-11-04
133
Chen-zexi/vllm-cli

Ein Befehlszeilenschnittstellen-Tool zum Bereitstellen von LLMs mit vLLM.

Chen-zexi
⭐ 507 Python 👤 Chen-zexi User 🕐 Aktualisiert 2026-01-25 📅 Erstellt 2025-08-14
134
AEON-7/Qwen3.6-27B-AEON-Ultimate-Uncensored-DFlash

Vollständig unzensierte, fähigkeitserweiterte Ablation von Qwen3.6-27B. NVFP4 + z-lab DFlash Speculative Decoding (n=12) im einheitlichen Container ghcr.io/aeon-7/aeon-vllm-ultimate:latest, optimiert für die Akzeptanz von Entwürfen bei langen Kontexten auf DGX Spark. 6 HF-Varianten (BF16/NVFP4/MTP/MTP-XS), docker-compose und QuickStart.

AEON-7
⭐ 501 Python 👤 AEON-7 User 🕐 Aktualisiert 2026-11-13 📅 Erstellt 2026-04-25