#inference-optimization Repositories
Entdecke 41 aktive Open-Source-GitHub-Repositories, die mit #inference-optimization getaggt sind und insgesamt 86,309 Sterne gesammelt haben (durchschnittlich 2,105 Sterne pro Projekt). Spitzenreiter in diesem Themenbereich ist lllyasviel/stable-diffusion-webui-forge mit 12,902 Sternen.
Insgesamt 41 Repositories
Produktiongetestete KI-Infrastrukturwerkzeuge für die effiziente Entwicklung von AGI und gemeinschaftsgesteuerte Innovation
[EMNLP'23, ACL'24] Um die Inferenz von LLMs zu beschleunigen und die Wahrnehmung von Schlüsselinformationen durch LLMs zu verbessern, wird die Eingabeaufforderung und der KV-Cache komprimiert, was eine Komprimierung um das bis zu 20-fache bei minimalem Leistungsverlust erzielt.
Qwen3.8 ist eine Reihe großer Sprachmodelle, die vom Qwen-Team der Alibaba Group entwickelt wurde.
Führe große Qwen-Modelle schnell auf den GPUs aus, die du tatsächlich besitzt. Qwen3.8-27B auf einer einzelnen 24-GB-Karte mit vLLM: 127 Tok/s bei einem einzelnen Nutzer (381, wenn die Antwort den Prompt zitiert), etwa 1.035 Tok/s bei 64 gleichzeitigen Anfragen und ein Kontext von 150k–262k. vLLM-Patches, Requantisierungs-Pipeline und Benchmarks.
Hocheffiziente Gleitkomma-Neuronale-Netzwerk-Inferenzoperatoren für Mobilgeräte, Server und Web
MiMo: Erschließung des Denkpotenzials von Sprachmodellen – Vom Pretraining bis zum Posttraining
Dieses Repository enthält LLM- (Large Language Model) Interviewfragen, die bei Top-Unternehmen wie Google, Nvidia, Meta, Microsoft und Fortune-500-Unternehmen gestellt werden.
https://wavespeed.ai/ [WIP] Die All-in-One-Inferenzoptimierungslösung für ComfyUI, universell, flexibel und schnell.
Ein Tutorial, das zeigt, wie man die TensorFlow Object Detection API auf dem Raspberry Pi einrichtet
Rezepte zur Skalierung des Inferenzzeit-Computings von offenen Modellen
Darstellung und Referenzabsenkung von ONNX-Modellen in der MLIR-Compilerinfrastruktur
Eine Papiersammlung einiger neuer Arbeiten über Token-Kompression für Vit und VLM
Branchenweites Video-Grundlagenmodell für die einheitliche Generierung von Text-zu-Video (T2V) und Bild-zu-Video (I2V).
BladeDISC ist ein End-to-End-Projekt für dynamische Form-Compiler für maschinelle Lernlasten.
Omni SenseVoice: Hochgeschwindigkeits-Spracherkennung mit Zeitstempeln für Wörter 🗣️🎯
Eine Erweiterung für stable-diffusion-webui zum Laden von Lycoris-Modellen.
LLM-Algorithmen und -Systeme praxisnah mit PyTorch, Triton und CUDA. „Tutorial zu LLM-Algorithmen und -Systemen“: Modellarchitekturen und Training, Post-Training, Inferenzbeschleunigung, Leistungs- und Operatoroptimierung – inklusive Notebook-Übungen, Antworterklärungen, Tests und Experimenten.
Cline chinesische lokalisierte Version, Cline ist ein autonomer Programmierassistent, der in Ihrer IDE läuft und mit Ihrer Erlaubnis Dateien erstellen/bearbeiten, Befehle ausführen, den Browser verwenden und weitere Funktionen nutzen kann.
Krasis ist eine hybride LLM-Laufzeitumgebung, die sich auf die effiziente Ausführung größerer Modelle auf Consumer-Hardware mit begrenztem VRAM konzentriert
Lerne Schritt für Schritt die Inferenztechnik für LLMs – vom KV-Cache, PagedAttention und kontinuierlichem Batching bis hin zu vLLM, SGLang und GPUs.
[ICLR 2024 Spotlight] Offizielle Implementierung von ScaleCrafter für visuelle Generierung mit höherer Auflösung zur Inferenzzeit.
Häufig gestellte Fragen
Welches ist das beliebteste #inference-optimization-Repository auf GitHub?
Das am höchsten eingestufte Open-Source-#inference-optimization-Projekt auf GitHub ist lllyasviel/stable-diffusion-webui-forge mit 12,902 Sternen.
Welche Programmiersprachen werden in #inference-optimization-Repositories am häufigsten verwendet?
Unter den am höchsten eingestuften #inference-optimization-Projekten auf GitHub sind Python, Jupyter Notebook, C++, C die am häufigsten verwendeten Programmiersprachen.
Wie wird das Ranking der #inference-optimization-Repositories berechnet?
Wir verfolgen 41 aktive Open-Source-Repositories, die mit #inference-optimization getaggt sind (500+ Sterne), mit insgesamt 86,309 Sternen und durchschnittlich 2,105 Sternen pro Repository. Die Rankings werden täglich über die GitHub-API aktualisiert.