Git Stars Git Stars

#inference-optimization Repositories

Entdecke 41 aktive Open-Source-GitHub-Repositories, die mit #inference-optimization getaggt sind und insgesamt 86,309 Sterne gesammelt haben (durchschnittlich 2,105 Sterne pro Projekt). Spitzenreiter in diesem Themenbereich ist lllyasviel/stable-diffusion-webui-forge mit 12,902 Sternen.

41
Gesamtzahl der Repositories
86,309
Gesamtanzahl der Sterne
2,105
Durchschnittliche Sterne/Repo

Insgesamt 41 Repositories

2
THUDM/slime

slime ist ein LLM-Trainingsframework zur Skalierung des bestärkenden Lernens.

THUDM
⭐ 8,856 Python 👤 THUDM Organization 🕐 Aktualisiert 2026-11-05 📅 Erstellt 2025-06-18
3
deepseek-ai/open-infra-index

Produktiongetestete KI-Infrastrukturwerkzeuge für die effiziente Entwicklung von AGI und gemeinschaftsgesteuerte Innovation

deepseek-ai
⭐ 8,007 👤 deepseek-ai Organization 🕐 Aktualisiert 2025-05-15 📅 Erstellt 2025-02-21
4
microsoft/LLMLingua

[EMNLP'23, ACL'24] Um die Inferenz von LLMs zu beschleunigen und die Wahrnehmung von Schlüsselinformationen durch LLMs zu verbessern, wird die Eingabeaufforderung und der KV-Cache komprimiert, was eine Komprimierung um das bis zu 20-fache bei minimalem Leistungsverlust erzielt.

microsoft
⭐ 6,846 Python 👤 microsoft Organization 🕐 Aktualisiert 2026-11-09 📅 Erstellt 2023-07-07
5
QwenLM/Qwen3.8

Qwen3.8 ist eine Reihe großer Sprachmodelle, die vom Qwen-Team der Alibaba Group entwickelt wurde.

QwenLM
⭐ 4,459 👤 QwenLM Organization 🕐 Aktualisiert 2026-08-17 📅 Erstellt 2025-09-11
7
syv-ai/HyperQwen

Führe große Qwen-Modelle schnell auf den GPUs aus, die du tatsächlich besitzt. Qwen3.8-27B auf einer einzelnen 24-GB-Karte mit vLLM: 127 Tok/s bei einem einzelnen Nutzer (381, wenn die Antwort den Prompt zitiert), etwa 1.035 Tok/s bei 64 gleichzeitigen Anfragen und ein Kontext von 150k–262k. vLLM-Patches, Requantisierungs-Pipeline und Benchmarks.

syv-ai
⭐ 2,778 Python 👤 syv-ai Organization 🕐 Aktualisiert 2026-11-10 📅 Erstellt 2026-08-15
8
google/XNNPACK

Hocheffiziente Gleitkomma-Neuronale-Netzwerk-Inferenzoperatoren für Mobilgeräte, Server und Web

google
⭐ 2,506 C 👤 google Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2019-09-13
9
XiaomiMiMo/MiMo

MiMo: Erschließung des Denkpotenzials von Sprachmodellen – Vom Pretraining bis zum Posttraining

XiaomiMiMo
⭐ 2,411 Python 👤 XiaomiMiMo Organization 🕐 Aktualisiert 2026-10-29 📅 Erstellt 2025-04-26
10
AmberLJC/LLMSys-PaperList

Liste der Veröffentlichungen zu Systemen großer Sprachmodelle (LLMs)

AmberLJC
⭐ 2,332 Python 👤 AmberLJC User 🕐 Aktualisiert 2026-10-20 📅 Erstellt 2023-06-06
11
facebookresearch/blt

Code für BLT-Forschungsarbeit

facebookresearch
⭐ 2,070 Python 👤 facebookresearch Organization 🕐 Aktualisiert 2025-11-03 📅 Erstellt 2024-12-09
12
NUS-HPC-AI-Lab/VideoSys

VideoSys: Ein einfaches und effizientes System zur Videogenerierung

NUS-HPC-AI-Lab
⭐ 2,022 Python 👤 NUS-HPC-AI-Lab Organization 🕐 Aktualisiert 2025-08-27 📅 Erstellt 2024-02-17
13
NVIDIA/Stable-Diffusion-WebUI-TensorRT

TensorRT-Erweiterung für Stable Diffusion Web UI

NVIDIA
⭐ 1,994 Python 👤 NVIDIA Organization 🕐 Aktualisiert 2024-06-14 📅 Erstellt 2023-10-10
14
ChenyangSi/FreeU

FreeU: Kostenloses Mittagessen in Diffusion U-Net (CVPR2024 Oral)

ChenyangSi
⭐ 1,892 👤 ChenyangSi User 🕐 Aktualisiert 2024-12-24 📅 Erstellt 2023-09-14
15
llmgenai/LLMInterviewQuestions

Dieses Repository enthält LLM- (Large Language Model) Interviewfragen, die bei Top-Unternehmen wie Google, Nvidia, Meta, Microsoft und Fortune-500-Unternehmen gestellt werden.

llmgenai
⭐ 1,781 👤 llmgenai User 🕐 Aktualisiert 2025-02-12 📅 Erstellt 2024-12-26
16
chengzeyi/Comfy-WaveSpeed

https://wavespeed.ai/ [WIP] Die All-in-One-Inferenzoptimierungslösung für ComfyUI, universell, flexibel und schnell.

chengzeyi
⭐ 1,235 Python 👤 chengzeyi User 🕐 Aktualisiert 2026-08-21 📅 Erstellt 2024-11-27
17
EdjeElectronics/TensorFlow-Object-Detection-on-the-Raspberry-Pi

Ein Tutorial, das zeigt, wie man die TensorFlow Object Detection API auf dem Raspberry Pi einrichtet

EdjeElectronics
⭐ 1,156 Python 👤 EdjeElectronics User 🕐 Aktualisiert 2024-08-10 📅 Erstellt 2018-06-05
18
gpu-mode/awesomeMLSys

Eine ML-System-Onboarding-Liste

gpu-mode
⭐ 1,154 👤 gpu-mode Organization 🕐 Aktualisiert 2026-02-19 📅 Erstellt 2024-05-06
19
huggingface/search-and-learn

Rezepte zur Skalierung des Inferenzzeit-Computings von offenen Modellen

huggingface
⭐ 1,134 Python 👤 huggingface Organization 🕐 Aktualisiert 2026-09-23 📅 Erstellt 2024-12-09
21
allenai/OLMoE

OLMoE: Open Mixture-of-Experts Sprachmodelle

allenai
⭐ 1,087 Jupyter Notebook 👤 allenai Organization 🕐 Aktualisiert 2025-09-23 📅 Erstellt 2024-06-22
22
onnx/onnx-mlir

Darstellung und Referenzabsenkung von ONNX-Modellen in der MLIR-Compilerinfrastruktur

onnx
⭐ 1,072 MLIR 👤 onnx Organization 🕐 Aktualisiert 2026-11-13 📅 Erstellt 2020-02-18
23
mryab/efficient-dl-systems

Kursmaterialien für effiziente Deep-Learning-Systeme

mryab
⭐ 1,052 Jupyter Notebook 👤 mryab User 🕐 Aktualisiert 2026-05-28 📅 Erstellt 2021-12-06
24
hzwer/Practical-RIFE

Ein praktischerer Ansatz zur Frame-Interpolation.

hzwer
⭐ 1,050 Python 👤 hzwer User 🕐 Aktualisiert 2026-08-27 📅 Erstellt 2021-06-16
25
daixiangzi/Awesome-Token-Compress

Eine Papiersammlung einiger neuer Arbeiten über Token-Kompression für Vit und VLM

daixiangzi
⭐ 966 👤 daixiangzi User 🕐 Aktualisiert 2026-11-13 📅 Erstellt 2024-09-06
26
FoundationVision/Waver

Branchenweites Video-Grundlagenmodell für die einheitliche Generierung von Text-zu-Video (T2V) und Bild-zu-Video (I2V).

FoundationVision
⭐ 952 👤 FoundationVision Organization 🕐 Aktualisiert 2025-08-27 📅 Erstellt 2025-08-05
27
alibaba/BladeDISC

BladeDISC ist ein End-to-End-Projekt für dynamische Form-Compiler für maschinelle Lernlasten.

alibaba
⭐ 911 C++ 👤 alibaba Organization 🕐 Aktualisiert 2024-12-30 📅 Erstellt 2021-12-20
28
lifeiteng/OmniSenseVoice

Omni SenseVoice: Hochgeschwindigkeits-Spracherkennung mit Zeitstempeln für Wörter 🗣️🎯

lifeiteng
⭐ 897 Python 👤 lifeiteng User 🕐 Aktualisiert 2025-12-10 📅 Erstellt 2024-09-22
29
KohakuBlueleaf/a1111-sd-webui-lycoris

Eine Erweiterung für stable-diffusion-webui zum Laden von Lycoris-Modellen.

KohakuBlueleaf
⭐ 894 Python 👤 KohakuBlueleaf User 🕐 Aktualisiert 2024-02-16 📅 Erstellt 2023-04-09
30
aiola-lab/whisper-medusa

Mit Medusenhäuptern flüstern

aiola-lab
⭐ 860 Python 👤 aiola-lab Organization 🕐 Aktualisiert 2026-07-02 📅 Erstellt 2024-07-17
31
datawhalechina/llm-algo-leetcode

LLM-Algorithmen und -Systeme praxisnah mit PyTorch, Triton und CUDA. „Tutorial zu LLM-Algorithmen und -Systemen“: Modellarchitekturen und Training, Post-Training, Inferenzbeschleunigung, Leistungs- und Operatoroptimierung – inklusive Notebook-Übungen, Antworterklärungen, Tests und Experimenten.

datawhalechina
⭐ 811 Jupyter Notebook 👤 datawhalechina Organization 🕐 Aktualisiert 2026-11-16 📅 Erstellt 2026-04-01
32
tensorflow/runtime

Eine performante und modulare Laufzeitumgebung für TensorFlow

tensorflow
⭐ 754 C++ 👤 tensorflow Organization 🕐 Aktualisiert 2025-09-04 📅 Erstellt 2020-04-24
33
IEIT-Yuan/Yuan-2.0

Yuan 2.0 Large Language Model

IEIT-Yuan
⭐ 689 Python 👤 IEIT-Yuan Organization 🕐 Aktualisiert 2024-07-11 📅 Erstellt 2023-11-26
34
microsoft/VPTQ

VPTQ, ein flexibler und extrem Low-Bit-Quantisierungsalgorithmus

microsoft
⭐ 683 Python 👤 microsoft Organization 🕐 Aktualisiert 2026-08-04 📅 Erstellt 2024-08-13
36
HybridTalentComputing/cline-chinese

Cline chinesische lokalisierte Version, Cline ist ein autonomer Programmierassistent, der in Ihrer IDE läuft und mit Ihrer Erlaubnis Dateien erstellen/bearbeiten, Befehle ausführen, den Browser verwenden und weitere Funktionen nutzen kann.

HybridTalentComputing
⭐ 660 TypeScript 👤 HybridTalentComputing User 🕐 Aktualisiert 2026-07-14 📅 Erstellt 2025-02-07
38
HazyResearch/aisys-building-blocks

Bausteine für Basismodelle.

HazyResearch
⭐ 587 👤 HazyResearch Organization 🕐 Aktualisiert 2024-01-03 📅 Erstellt 2023-11-30
39
brontoguana/krasis

Krasis ist eine hybride LLM-Laufzeitumgebung, die sich auf die effiziente Ausführung größerer Modelle auf Consumer-Hardware mit begrenztem VRAM konzentriert

brontoguana
⭐ 530 C++ 👤 brontoguana User 🕐 Aktualisiert 2026-11-12 📅 Erstellt 2026-02-09
40
amitshekhariitbhu/llm-inference-engineering

Lerne Schritt für Schritt die Inferenztechnik für LLMs – vom KV-Cache, PagedAttention und kontinuierlichem Batching bis hin zu vLLM, SGLang und GPUs.

amitshekhariitbhu
⭐ 523 Markdown 👤 amitshekhariitbhu User 🕐 Aktualisiert 2026-11-09 📅 Erstellt 2026-08-18
41
YingqingHe/ScaleCrafter

[ICLR 2024 Spotlight] Offizielle Implementierung von ScaleCrafter für visuelle Generierung mit höherer Auflösung zur Inferenzzeit.

YingqingHe
⭐ 508 Python 👤 YingqingHe User 🕐 Aktualisiert 2024-03-07 📅 Erstellt 2023-10-07

Häufig gestellte Fragen

1

Welches ist das beliebteste #inference-optimization-Repository auf GitHub?

Das am höchsten eingestufte Open-Source-#inference-optimization-Projekt auf GitHub ist lllyasviel/stable-diffusion-webui-forge mit 12,902 Sternen.

2

Welche Programmiersprachen werden in #inference-optimization-Repositories am häufigsten verwendet?

Unter den am höchsten eingestuften #inference-optimization-Projekten auf GitHub sind Python, Jupyter Notebook, C++, C die am häufigsten verwendeten Programmiersprachen.

3

Wie wird das Ranking der #inference-optimization-Repositories berechnet?

Wir verfolgen 41 aktive Open-Source-Repositories, die mit #inference-optimization getaggt sind (500+ Sterne), mit insgesamt 86,309 Sternen und durchschnittlich 2,105 Sternen pro Repository. Die Rankings werden täglich über die GitHub-API aktualisiert.