#vllm Repositories
Insgesamt 134 Repositories
[EMNLP 2024 & AAAI 2026] Ein leistungsstarkes Toolkit zum Komprimieren großer Modelle, einschließlich LLMs, VLMs und Video-Generierungsmodellen.
Reine Rust + CUDA LLM-Inferenz-Engine — kein PyTorch, OpenAI-kompatibel, bedient Qwen3 bis Kimi-K2
Engine-agnostisches LLM-Gateway in Rust. Vollständige Kompatibilität mit den OpenAI- und Anthropic-APIs für vLLM, TRT-LLM, TokenSpeed, SGLang, OpenAI, Gemini und weitere. Branchenweit erste gRPC-Pipeline, KV-Cache-bewusstes Routing, Chatverlauf, Tokenisierungs-Caching, Responses API, Embeddings, WASM-Plugins, MCP und mandantenfähige Authentifizierung.
EfficientSAM3 komprimiert SAM3 durch progressive Wissensdestillation in leichte, edge-freundliche Modelle für schnelle promptbare Konzeptsegmentierung und -verfolgung.
Selbstgehostetes KI-Agenten-Betriebssystem. Ihre Erinnerungen, Chats, Agenten und Dateien bleiben auf Ihrer eigenen Hardware – standardmäßig offline, Cloud optional. Bietet Offline-KI-Speicher (taOSmd), selbstgehosteten Multi-Framework-Gruppenchat, einen vollständigen Web-Desktop mit App-Store sowie automatisches Clustering über Ihre vorhandene Consumer-Hardware (Orange/Raspberry Pi, Mac mini, Gaming-PC).
Bietet hochwertige chinesische Sprachsynthese und Klonen von Stimmen, basierend auf Modellen wie SparkTTS und OrpheusTTS.
Führen Sie jeden Agenten auf jedem Modell aus; die Modelle werden als OCI-Images gespeichert
Moderne MoE-Modelle auf RTX PRO 6000 / RTX 5090 (sm_120): DeepSeek-V4.1-Flash auf 4 RTX PRO 6000, als GPU+CPU-Hybrid auf 4 RTX 5090 und 2-Bit-Experten auf vLLM v0.24.0
sparkrun – LLM-Inferenz-Workloads auf NVIDIA-DGX-Spark-Systemen starten, verwalten und stoppen. Live-Support: https://discord.com/invite/GH5kRgv6ZD
[CVPR 2025] RoboBrain: Ein einheitliches Gehirnmodell für die robotische Manipulation vom Abstrakten zum Konkreten. Offizielles Repository.
Yi-1.5 ist eine verbesserte Version von Yi und bietet eine stärkere Leistung in Bezug auf Codierung, Mathematik, logisches Denken und die Fähigkeit zur Befolgung von Anweisungen.
Eine moderne Weboberfläche zur Verwaltung und Interaktion mit vLLM-Servern (www.github.com/vllm-project/vllm). Unterstützt sowohl GPU- als auch CPU-Modi, mit speziellen Optimierungen für macOS Apple Silicon und den Unternehmenseinsatz auf OpenShift/Kubernetes.
Lokal priorisierte Full-Stack-KI-Kreativwerkstatt: fünf Module – KI-Chat, KI-Comics, Comic-Drama-Erstellung, Schreibbereich und Wissenslernen; lokale Inferenz mit mehreren Engines (vLLM / llama.cpp / Transformers), intelligente VRAM-Verwaltung, Bulkhead-Isolierung und Selbstheilung. Nur zu Lernzwecken; Austausch und Hinweise sind willkommen. (Aufgrund von Protokollbeschränkungen können die neuesten Fortschritte – mit Ausnahme des Plugin-Systems – derzeit nicht in das Repository übernommen werden.)
Open Model Engine (OME) — Kubernetes-Operator für das Bereitstellen von LLM-Diensten, die GPU-Planung und das Management des Modelllebenszyklus. Unterstützt SGLang, vLLM, TensorRT-LLM und Triton
KVarN ist ein natives vLLM-Backend zur Quantisierung des KV-Caches für Ihre Agenten: 3–5× mehr Kontext, ein höherer Durchsatz als bei FP16 und eine Genauigkeit auf FP16-Niveau. Keine Kalibrierung, nur ein Flag.
Offene Vollduplex-Sprachmodelle, die deinen Tonfall erkennen und selbst mit einem passenden Tonfall sprechen. Eine GPU mit vLLM-Omni oder vollständig offline auf einem Mac mit MLX. Zero-Shot-Sprachklonen, kompatibel mit OpenAI Realtime / GPT-Live, plus kostenloser Testzugang zur gehosteten API. Apache-2.0.
Vollständig unzensierte, fähigkeitserweiterte Ablation von Qwen3.6-27B. NVFP4 + z-lab DFlash Speculative Decoding (n=12) im einheitlichen Container ghcr.io/aeon-7/aeon-vllm-ultimate:latest, optimiert für die Akzeptanz von Entwürfen bei langen Kontexten auf DGX Spark. 6 HF-Varianten (BF16/NVFP4/MTP/MTP-XS), docker-compose und QuickStart.