#vllm Repositories
Entdecke 133 aktive Open-Source-GitHub-Repositories, die mit #vllm getaggt sind und insgesamt 554,542 Sterne gesammelt haben (durchschnittlich 4,169 Sterne pro Projekt). Spitzenreiter in diesem Themenbereich ist earendil-works/pi mit 123,140 Sternen.
Insgesamt 134 Repositories
KI-Agenten-Toolkit: vereinheitlichte LLM-API, Agentenschleife, TUI, Coding-Agent-CLI
Open-Source-Spracherkennungs-Toolkit für Training, Inferenz, Streaming-ASR, VAD, Interpunktion, Sprecherdiarisierungs-Pipelines und OpenAI-kompatiblen/MCP-Service.
Willkommen im Llama-Kochbuch! Dies ist Ihr Leitfaden für den Einstieg in Llama: Erste Schritte mit Inferenz, Fine-Tuning, RAG. Wir zeigen Ihnen auch, wie Sie End-to-End-Probleme mit der Llama-Modellfamilie lösen und sie auf verschiedenen Anbieterdiensten einsetzen.
Android-in-Docker-Lösung mit noVNC-Unterstützung, Videoaufzeichnung, MCP-Server und KI-Agent
Umfassende Open-Source-Bibliothek für KI-Forschungs- und Ingenieursfähigkeiten für jedes KI-Modell. Packen Sie die Fähigkeiten ein, und Ihr Claude-Code-/Codex-/Gemini-Agent wird zu einem KI-Forschungsagenten mit voller Leistung. Gepflegt von Orchestra Research.
✍🏻 Quellcode-Tiefenanalysen, Systemdesign und Engineering-Blogs | Halfrost-Field: Notizen zur Quellcode-Analyse, Systemdesign und Ingenieurspraxis
OCR-Modell, das komplexe Tabellen, Formulare und Handschriften mit vollständigem Layout verarbeitet.
Ein einfach zu bedienendes, skalierbares und hochperformantes agentisches RL-Framework basierend auf Ray (PPO & DAPO & REINFORCE++ & VLM & TIS & vLLM & Ray & Async RL)
Open-Source-Inferenzplattform für Sprach-, Vision-, Embedding-, Reranking-, Bild-, Audio- und Videomodelle. Stellen Sie mehrere Engines auf heterogener Hardware bereit – vom Laptop bis zum verteilten Cluster. Stellen Sie Modelle über OpenAI-kompatible APIs bereit.
Mooncake ist die Serving-Plattform für Kimi, einen führenden LLM-Service, der von Moonshot AI bereitgestellt wird.
Eine offene, programmierbare Entscheidungsebene für Modelle und Rechenleistung.
Standardisierte verteilte generative und prädiktive KI-Inferenzplattform für skalierbare, Multi-Framework-Bereitstellung auf Kubernetes
Ein GPU-Cluster-Manager für hochleistungsfähiges KI-Modell-Serving (vLLM, SGLang) und bedarfsgesteuerte, per SSH zugängliche GPU-Instanzen.
LLM-Inferenzsysteme auf Apple Silicon für Systemingenieure kennenlernen: ein kleines vLLM + Qwen erstellen
Search-R1: Ein effizientes, skalierbares RL-Trainingsframework für Reasoning & Suchmaschinenaufrufe, das auf veRL basierende LLMs interleaved nutzt
📚Eine kuratierte Liste von Awesome LLM/VLM-Inferenz-Papers mit Codes: Flash-Attention, Paged-Attention, WINT8/4, Parallelism usw.🎉
Strukturierte Datenextraktion, Anweisungsaufruf und agentische Workflows mit ML, LLM und Vision LLM
Teilen von AI-Infrastrukturwissen und Code-Praxis: PyTorch, vLLM/SGLang, Einführung in das slime/vime-Framework ⚡️, Leistungsbeschleunigung 🚀, Grundlagen großer Modelle 🧠, KI-Software und -Hardware 🔧 usw.
[NeurIPS'24] HippoRAG ist ein neuartiges RAG-Framework, das von der menschlichen Langzeitgedächtnis inspiriert ist und LLMs ermöglicht, Wissen über externe Dokumente kontinuierlich zu integrieren. RAG + Wissensgraphen + Personalized PageRank.
Kaskadierender Runtime für KI-Agenten. Optimieren Sie Kosten, Latenz, Qualität und Richtlinienentscheidungen innerhalb der Agenten-Schleife.
Leistungsstarkes Inference- und Deployment-Toolkit für LLMs und VLMs auf Basis von PaddlePaddle
KI-Grundlagen – GPU-Architektur, CUDA-Programmierung, Grundlagen großer Sprachmodelle und Wissen zu KI-Agenten.
RamaLama ist ein Open-Source-Entwicklertool, das das lokale Bereitstellen von KI-Modellen aus beliebigen Quellen vereinfacht und deren Verwendung für Inferenzen in der Produktion erleichtert, und das alles über die vertraute Sprache von Containern.
Führe große Qwen-Modelle schnell auf den GPUs aus, die du tatsächlich besitzt. Qwen3.8-27B auf einer einzelnen 24-GB-Karte mit vLLM: 127 Tok/s bei einem einzelnen Nutzer (381, wenn die Antwort den Prompt zitiert), etwa 1.035 Tok/s bei 64 gleichzeitigen Anfragen und ein Kontext von 150k–262k. vLLM-Patches, Requantisierungs-Pipeline und Benchmarks.
vLLMs Referenzsystem für K8S-native Cluster-weite Bereitstellung mit Community-gesteuerter Leistungsoptimierung
CodeGeeX4-ALL-9B, ein vielseitiges Modell für alle KI-Softwareentwicklungsszenarien, einschließlich Codevervollständigung, Code-Interpreter, Websuche, Funktionsaufrufe, repository-weite Fragen und Antworten und vieles mehr.
Code, Labs und Ressourcen für O'Reilly AI Systems Performance Engineering: GPU-Optimierung, verteiltes Training, Inferenz-Skalierung und Full-Stack-Tuning.
Virtualisierter elastischer KV-Cache für dynamische GPU-Freigabe und darüber hinaus
Erzwingen Sie das Ausgabeformat (JSON-Schema, Regex usw.) eines Sprachmodells
Häufig gestellte Fragen
Welches ist das beliebteste #vllm-Repository auf GitHub?
Das am höchsten eingestufte Open-Source-#vllm-Projekt auf GitHub ist earendil-works/pi mit 123,140 Sternen. KI-Agenten-Toolkit: vereinheitlichte LLM-API, Agentenschleife, TUI, Coding-Agent-CLI
Welche Programmiersprachen werden in #vllm-Repositories am häufigsten verwendet?
Unter den am höchsten eingestuften #vllm-Projekten auf GitHub sind Python, Jupyter Notebook, Go, TypeScript die am häufigsten verwendeten Programmiersprachen.
Wie wird das Ranking der #vllm-Repositories berechnet?
Wir verfolgen 133 aktive Open-Source-Repositories, die mit #vllm getaggt sind (500+ Sterne), mit insgesamt 554,542 Sternen und durchschnittlich 4,169 Sternen pro Repository. Die Rankings werden täglich über die GitHub-API aktualisiert.