#vllm Repositories
Insgesamt 134 Repositories
Bewerten und verbessern Sie Ihre LLM-Bereitstellungen für reale Inferenzanforderungen
Offene Entscheidungsmodelle von 0,8B bis 27B: eine kalibrierte Wahrscheinlichkeit für jede Option in einem Durchgang und nur bei Unsicherheit ein kurzer Gedankengang. Engine für vLLM, llama.cpp und MLX.
Effizienz der Post-Training-Quantisierung, Genauigkeit der quantisierungsbewussten Trainingsmethode
Hochleistungs-LLM-Inferenzserver, kompatibel mit OpenAI und Anthropic, für Apple Silicon. Natives MLX, kontinuierliches Batching, multimodale Modelle, MCP-Toolaufrufe und Claude-Code-Unterstützung.
Verwandle jedes LLM in ein Entscheidungsmodell im Jev-Stil: typisierte Entscheidungen, echte Wahrscheinlichkeiten, kein Training. (Wird laufend aktualisiert; Issues und PR-Anfragen sind willkommen)
Open-Source-Builds für KI-Computer, von Desktop-PCs mit 2 GPUs bis zu Servern mit 8 GPUs: CAD, Stückliste, BIOS und Bauanleitungen. Hol dir das Gehäuse-Kit mit PCIe-Risern oder bitte uns um eine kostenlose Passformprüfung.
Offizielles Repo für das Paper „Skalierung der Erstellung synthetischer Daten mit 1.000.000.000 Personen“
Spiking Brain-inspired Large Models, die hybride effiziente Attention, MoE-Module und Spike-Kodierung in ihre Architektur integrieren
Toolkit zur Quantisierung (Komprimierung) von LLM-Modellen mit Hardwarebeschleunigung für Nvidia CUDA, AMD ROCm, Intel XPU, Tenstorrent, Huawei-Ascend-NPUs und Intel-/AMD-/Apple-CPUs über HF, vLLM und SGLang.
AI Inference Operator für Kubernetes. Der einfachste Weg, ML-Modelle in der Produktion bereitzustellen. Unterstützt VLMs, LLMs, Embeddings und Speech-to-Text.
Ein 10-Wochen-Plan mit 30 Minuten täglich für das Bereitstellen und Optimieren von LLM-Inferenz. vLLM, SGLang, Quantisierung, spekulatives Decoding und Benchmarking.
☁️ Unternehmensfreundliches API-Gateway, das Ihnen hilft, Kosten- oder Ratenbegrenzungen pro API-Schlüssel zu überwachen und durchzusetzen. Erhalten Sie eine granulare Zugriffskontrolle und Überwachung pro Benutzer, Anwendung oder Umgebung. Unterstützt OpenAI, Azure OpenAI, Anthropic, vLLM und Open-Source-LLMs.
Baue deine eigene Hochleistungs-LLM-Inferenz-Engine in C++ und CUDA - eine kleinere Version von vLLM
Kimi-VL: Mixture-of-Experts Vision-Language Model für multimodales Schlussfolgern, Langkontext-Verständnis und starke Agentenfähigkeiten
Ein MemAgent-Framework, das auf 3,5 Millionen erweitert werden kann, zusammen mit einem Trainings-Framework für das RL-Training von beliebigen Agenten-Workflows.
UniRL ist ein Framework für das Reinforcement Learning vereinheitlichter multimodaler Modelle
Ein transparentes Generalistenmodell für ein ganzheitliches medizinisches Bild-Sprach-Verständnis
Ein CLI zur Schätzung des Speicherbedarfs für Inferenz bei Hugging Face Modellen, geschrieben in Python.
Offene multimodale Entscheidungsmodelle mit 0,8B bis 27B Parametern für Text, Bilder und Videos. Treffen Sie Entscheidungen anhand von Wahrscheinlichkeiten für eigene Kandidaten und lokalisieren Sie Objekte mit Begrenzungsrahmen, statt Text zu generieren. Kostenlose API, ONNX, GGUF, vLLM und SGLang; Fine-Tuning-Code enthalten.
Offene Modellreihe Spark-x2.6. Die Grenzen agentischer Fähigkeiten von On-Device-Modellen erweitern
LLM-Notizen, einschließlich Modellinferenz, Transformer-Modellstruktur und Notizen zur Analyse von LLM-Framework-Code.
Eine lokale, offline (nach der Ersteinrichtung), tragbare OCR-Software, die Bilder und PDF-Dateien verarbeiten kann, unter Verwendung von DeepSeek-OCR-2 AI (direkt auf Ihrem Rechner laufend).
Dieses Repository enthält Tutorials und Beispiele für den Triton Inference Server
Halo ist ein von White Circle entwickeltes Open-Source-Framework zum Trainieren großer Sprachmodelle und multimodaler Modelle
End-to-End-Dokumentation zum Einrichten Ihres eigenen lokalen und vollständig privaten LLM-Servers unter Debian. Ausgestattet mit Chat, Websuche, RAG, Modellverwaltung, MCP-Servern, Bilderzeugung und TTS.
Eine KI-gestützte Datenanalyse-Workbench, entwickelt für Transparenz, Reproduzierbarkeit und die Kontrolle durch Nutzer. Prüfen Sie den Code und die Belege hinter den Ergebnissen, verifizieren Sie Berechnungen durch erneutes Ausführen und wählen Sie aus einer großen Auswahl an Modellen, darunter lokale Modelle mit offenen Gewichten.
Erweitern Sie OpenRLHF, um das LMM-RL-Training zur Reproduktion von DeepSeek-R1 bei multimodalen Aufgaben zu unterstützen.
Eine End-to-End-Infrastruktur zum Trainieren und Bewerten verschiedener LLM-Agenten.
Tencent Hunyuan A13B (kurz als Hunyuan-A13B), ein innovatives und quelloffenes LLM, das auf einer feingranularen MoE-Architektur basiert.
Open-Modelle der Spitzenklasse auf einer kostenlosen Kaggle-TPU v5e-8: GLM-5.3-Flash 320B MoE (~165 Tok/s, mit unserer eigenen JAX-Engine) und Qwen3.8-27B bf16 (~130 Tok/s), 262k Kontext und Präfix-Caching. Funktioniert mit Claude Code, Codex, opencode und pi.
Seed-Coder ist eine Familie von Open-Source-LLMs für leichtgewichtigen Code, bestehend aus Basis-, Instruct- und Reasoning-Modellen, entwickelt von ByteDance Seed.