#llm-serving Repositories
Entdecke 44 aktive Open-Source-GitHub-Repositories, die mit #llm-serving getaggt sind und insgesamt 381,346 Sterne gesammelt haben (durchschnittlich 8,666 Sterne pro Projekt). Spitzenreiter in diesem Themenbereich ist vllm-project/vllm mit 97,302 Sternen.
Insgesamt 44 Repositories
Eine hochdurchsatzfähige und speichereffiziente Inferenz- und Serving-Engine für LLMs
Ray ist ein AI-Compute-Engine. Ray besteht aus einem zentralen verteilten Runtime und einem Satz von AI-Bibliotheken zur Beschleunigung von ML-Workloads.
Eine offene Plattform für das Training, die Bereitstellung und die Bewertung großer Sprachmodelle. Veröffentlichungs-Repository für Vicuna und Chatbot Arena.
Dieses Projekt zielt darauf ab, die technischen Prinzipien und praktischen Erfahrungen im Zusammenhang mit großen Modellen zu teilen (Industrialisierung großer Modelle, praktische Anwendung großer Modelle).
TensorRT LLM bietet Benutzern eine einfach zu bedienende Python-API zur Definition von Large Language Models (LLMs) und unterstützt hochmoderne Optimierungen für eine effiziente Inferenz auf NVIDIA GPUs. TensorRT LLM enthält außerdem Komponenten zur Erstellung von Python- und C++-Runtimes, die die Inferenzdurchführung auf performante Weise orchestrieren.
Führen Sie beliebige Open-Source-LLMs wie DeepSeek und Llama als OpenAI-kompatiblen API-Endpunkt in der Cloud aus.
Die KI-Compute-Plattform für Spitzenteams. SkyPilot verwandelt fragmentierte KI-Rechenleistung in einen KI-Supercomputer, sodass Spitzenteams schneller maßgeschneiderte Intelligenz entwickeln.
Der einfachste Weg, AI-Apps und -Modelle zu hosten - Erstellen Sie Model Inference APIs, Job-Warteschlangen, LLM-Apps, Multi-Model-Pipelines und mehr!
《AI-Infrastruktur tiefgehend verstehen: Quantitative Analyse und Systemdesign》 (von Li Bojie), ein Open-Source-Buchmanuskript: Ausgehend von Hardwarebeschränkungen und Modellarchitekturen wird das Design von LLM-Inferenz- und Trainingssystemen quantitativ hergeleitet. Enthält den vollständigen Buchtext, ein PDF, zugehörige Berechnungstools und Experimente.
Ein GPU-Cluster-Manager für hochleistungsfähiges KI-Modell-Serving (vLLM, SGLang) und bedarfsgesteuerte, per SSH zugängliche GPU-Instanzen.
Eine kompakte Implementierung von SGLang, entwickelt, um die Komplexität moderner LLM-Serving-Systeme zu entmystifizieren.
Superduper: End-to-End-Framework zum Erstellen benutzerdefinierter KI-Anwendungen und -Agenten.
Eine kuratierte Liste von Ressourcen für große Sprachmodelle, die Modelltraining, -bereitstellung, -optimierung und den Aufbau von LLM-Anwendungen abdecken.
Multi-LoRA-Inferenzserver, der bis zu Tausende von feinabgestimmten LLMs skaliert
Leistungsstarkes Inference- und Deployment-Toolkit für LLMs und VLMs auf Basis von PaddlePaddle
Hochleistungs-Inferenzframework für große Sprachmodelle mit Schwerpunkt auf Effizienz, Flexibilität und Verfügbarkeit.
Virtualisierter elastischer KV-Cache für dynamische GPU-Freigabe und darüber hinaus
Hervorragende Forschungsarbeiten und Werkzeuge zur Komprimierung von LLMs.
Die Open-Source-Inferenz-Engine für LLMs auf AWS Trainium: NKI-Megakerne, 1-Million-Token-Kontext und OpenAI-kompatible API. Von RunAnywhere.
Parallax ist ein verteiltes Modell-Serving-Framework, mit dem Sie Ihren eigenen KI-Cluster überall erstellen können
Lokale Inferenz mit dem Verhalten einer hochmodernen API: Qwen3.8-Flash-Next auf AMD Strix Halo sowie kleine NPU-Modelle – über die OpenAI- und Anthropic-APIs auf einem einzigen Port.
[NeurIPS'24 Spotlight, ICLR'25, ICML'25] Um die Inferenz von Long-Context-LLMs zu beschleunigen, berechnen approximative und dynamische dichte Berechnungen die Aufmerksamkeit, was die Inferenzlatenz beim Vorabfüllen auf einer A100 um bis zu 10x reduziert, während die Genauigkeit erhalten bleibt.
Eine hochoptimierte LLM-Inferenzbeschleunigungs-Engine für Llama und seine Varianten.
Ein performantes ML-Modell-Serving-Framework, das dynamisches Batching und CPU/GPU-Pipelines bietet, um Ihre Rechenmaschine voll auszunutzen
Dieses Repository enthält Tutorials und Beispiele für den Triton Inference Server
[MLSys'25] QServe: W4A8KV4 Quantisierung und System-Co-Design für effizientes LLM-Serving; [MLSys'25] LServe: Effizientes LLM-Serving für lange Sequenzen mit vereinheitlichter spärlicher Aufmerksamkeit
♾️ Private Agent-Flotte mit spezifischem Coding. Jeder Agent erhält seinen eigenen GPU-beschleunigten Desktop. Führen Sie Claude, Codex, Gemini und Open Models auf einem vollständigen privaten AI-Stack aus ♾️
Open-Modelle der Spitzenklasse auf einer kostenlosen Kaggle-TPU v5e-8: GLM-5.3-Flash 320B MoE (~165 Tok/s, mit unserer eigenen JAX-Engine) und Qwen3.8-27B bf16 (~130 Tok/s), 262k Kontext und Präfix-Caching. Funktioniert mit Claude Code, Codex, opencode und pi.
Modelkomprimierungs-Toolbox für große Sprachmodelle und Diffusionsmodelle
Reine Rust + CUDA LLM-Inferenz-Engine — kein PyTorch, OpenAI-kompatibel, bedient Qwen3 bis Kimi-K2
Häufig gestellte Fragen
Welches ist das beliebteste #llm-serving-Repository auf GitHub?
Das am höchsten eingestufte Open-Source-#llm-serving-Projekt auf GitHub ist vllm-project/vllm mit 97,302 Sternen. Eine hochdurchsatzfähige und speichereffiziente Inferenz- und Serving-Engine für LLMs
Welche Programmiersprachen werden in #llm-serving-Repositories am häufigsten verwendet?
Unter den am höchsten eingestuften #llm-serving-Projekten auf GitHub sind Python, Jupyter Notebook, Rust, C++ die am häufigsten verwendeten Programmiersprachen.
Wie wird das Ranking der #llm-serving-Repositories berechnet?
Wir verfolgen 44 aktive Open-Source-Repositories, die mit #llm-serving getaggt sind (500+ Sterne), mit insgesamt 381,346 Sternen und durchschnittlich 8,666 Sternen pro Repository. Die Rankings werden täglich über die GitHub-API aktualisiert.