#llm-inference Repositories
Insgesamt 202 Repositories
Eine schnelle Inferenzbibliothek zum Ausführen von LLMs lokal auf modernen Consumer-GPUs
Teilen von AI-Infrastrukturwissen und Code-Praxis: PyTorch, vLLM/SGLang, Einführung in das slime/vime-Framework ⚡️, Leistungsbeschleunigung 🚀, Grundlagen großer Modelle 🧠, KI-Software und -Hardware 🔧 usw.
Generative KI-Referenz-Workflows, optimiert für beschleunigte Infrastruktur und Microservice-Architektur.
Rapid-MLX ist ein Open-Source-LLM-Inferenzserver (Apache 2.0) für Apple Silicon, kompatibel mit OpenAI und Anthropic, auf MLX aufgebaut und auf zuverlässige Tool-Aufrufe für Coding-Agenten ausgerichtet. Mit denselben Gewichten bis zu 4× schneller als Apples MLX (mlx-lm).
Multi-LoRA-Inferenzserver, der bis zu Tausende von feinabgestimmten LLMs skaliert
Eine Sammlung wissenschaftlicher Methoden, Prozesse, Algorithmen und Systeme zum Erstellen von Geschichten und Modellen.
Ihr Cheat Sheet für das AI Engineering Interview – Fragen und Antworten.
Verteilte LLM-Inferenz. Verbinden Sie Heimgeräte zu einem leistungsstarken Cluster, um die LLM-Inferenz zu beschleunigen. Mehr Geräte bedeuten schnellere Inferenz.
Führen Sie GLM-5.3 (744B), DeepSeek-V4.1-Flash (748B), MiniMax-M3.1-Flash (428B), GLM-5.3-Flash (321B) und Hy4-Flash (220B) auf Ihren eigenen GPUs aus – ab 8 GB VRAM, mit Unterstützung für NVIDIA und AMD, einem einzigen Dashboard sowie einer mit OpenAI und Anthropic kompatiblen API.
Fügen Sie Ihrer operativen Datenbank einen Echtzeit-Analyse-Knoten hinzu. Spice ist eine portable, beschleunigte SQL-Abfrage-, Such- und LLM-Inferenz-Engine in Rust für datengestützte KI-Anwendungen und Agenten.
Führe große Qwen-Modelle schnell auf den GPUs aus, die du tatsächlich besitzt. Qwen3.8-27B auf einer einzelnen 24-GB-Karte mit vLLM: 127 Tok/s bei einem einzelnen Nutzer (381, wenn die Antwort den Prompt zitiert), etwa 1.035 Tok/s bei 64 gleichzeitigen Anfragen und ein Kontext von 150k–262k. vLLM-Patches, Requantisierungs-Pipeline und Benchmarks.
Die schnellste Möglichkeit, Qwen 3.8 Flash Next, Qwen 3.8 27B und Ternary Bonsai 2 27B auf einem Mac auszuführen: 125 Token/s in OpenCode auf einem M5 Max und ein 27B-Modell auf Macs mit 16 GB. Native MTP-Spekulativdekodierung auf Apple Silicon, bei jeder Temperatur exakt. Lokaler Server mit OpenAI- und Anthropic-Kompatibilität.
vLLMs Referenzsystem für K8S-native Cluster-weite Bereitstellung mit Community-gesteuerter Leistungsoptimierung
Medusa: Ein einfaches Framework zur Beschleunigung der LLM-Generierung mit mehreren Dekodierköpfen
Eine lokale Inferenz-Engine für Apple Silicon, die um das Modell herum entwickelt wurde.
Ein offener Coding-Agent für Ihr Terminal, entwickelt von einem Gemeinschaftskollektiv statt von einem Unternehmen. Bringen Sie Ihr eigenes Modell mit, behalten Sie Ihren Code auf Ihrer Maschine und schulden Sie niemandem etwas.
Offizielle Implementierung von EAGLE-1 (ICML'24), EAGLE-2 (EMNLP'24) und EAGLE-3 (NeurIPS'25).
Codebeispiele und Ressourcen für DBRX, ein großes Sprachmodell, das von Databricks entwickelt wurde
Die Jito-Deep-Learning-Inferenzbibliothek zeichnet sich durch hohe Leistung, geringe Konfigurationsanforderungen, gute Chinesisch-Unterstützung und Portabilität aus.
Offizieller SGLang-x-Datawhale-Kurs zur LLM-Inferenz: Verstehe die Inferenz, entwickle ein Mini-SGLang von Grund auf, lies anschließend den echten SGLang-Quellcode und reiche deinen ersten PR ein. Auf Englisch und Chinesisch verfügbar.
Code, Labs und Ressourcen für O'Reilly AI Systems Performance Engineering: GPU-Optimierung, verteiltes Training, Inferenz-Skalierung und Full-Stack-Tuning.
Das Agenten-Framework des PHP-Ökosystems zum Erstellen produktionsreifer KI-gestützter Anwendungen. Verbinden Sie Komponenten (LLMs, Tools, Vektordatenbanken, Speicher) mit Agenten, die mit Ihren Daten und Ihrer Benutzeroberfläche interagieren.
Dein Spickzettel für Bewerbungsgespräche im KI-Engineering bei führenden KI-Unternehmen – Fragen und Antworten.
Virtualisierter elastischer KV-Cache für dynamische GPU-Freigabe und darüber hinaus
Lokale KI-App und Inferenz-Engine für Agenten. Führen Sie Open-Weight-LLMs lokal aus – privat, 100 % offline auf Ihrem Computer. Treten Sie unserem Discord bei: https://discord.com/invite/8wGSsvmg4V
Führen Sie jeden Llama 2 lokal mit Gradio UI auf GPU oder CPU von überall (Linux/Windows/Mac) aus. Verwenden Sie `llama2-wrapper` als Ihr lokales Llama2-Backend für Generative Agents/Apps.
Mehrere NVIDIA GPUs oder Apple Silicon für die Inferenz großer Sprachmodelle?
Eine optimierte Quantisierungs- und Inferenzbibliothek für die lokale Ausführung von LLMs auf modernen Consumer-GPUs
Bewerten und verbessern Sie Ihre LLM-Bereitstellungen für reale Inferenzanforderungen
Leistungsstarke On-Device-KI-Inferenzbibliothek für React Native mit Fokus auf Datenschutz, angetrieben von PyTorchs ExecuTorch-Runtime
Der einfachste und schnellste Weg, angepasste und fein abgestimmte LLMs lokal oder am Edge auszuführen