Git Stars Git Stars

#inference Repositories

Entdecke 144 aktive Open-Source-GitHub-Repositories, die mit #inference getaggt sind und insgesamt 870,238 Sterne gesammelt haben (durchschnittlich 6,043 Sterne pro Projekt). Spitzenreiter in diesem Themenbereich ist vllm-project/vllm mit 97,302 Sternen.

144
Gesamtzahl der Repositories
870,238
Gesamtanzahl der Sterne
6,043
Durchschnittliche Sterne/Repo

Insgesamt 144 Repositories

1
vllm-project/vllm

Eine hochdurchsatzfähige und speichereffiziente Inferenz- und Serving-Engine für LLMs

vllm-project
⭐ 97,302 Python 👤 vllm-project Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2023-02-09
2
ultralytics/yolov5

Ultralytics YOLOv5 in PyTorch für Objekterkennung, Instanzsegmentierung, Klassifizierung, Training und Export.

ultralytics
⭐ 58,290 Python 👤 ultralytics Organization 🕐 Aktualisiert 2026-11-16 📅 Erstellt 2020-05-18
3
ggml-org/whisper.cpp

Portierung von OpenAIs Whisper-Modell in C/C++

ggml-org
⭐ 55,392 C++ 👤 ggml-org Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2022-09-25
4
deepspeedai/DeepSpeed

DeepSpeed ist eine Deep-Learning-Optimierungsbibliothek, die verteiltes Training und Inferenz einfach, effizient und effektiv macht.

deepspeedai
⭐ 43,348 Python 👤 deepspeedai Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2020-01-23
5
hpcaitech/ColossalAI

Große KI-Modelle günstiger, schneller und zugänglicher machen

hpcaitech
⭐ 41,421 Python 👤 hpcaitech Organization 🕐 Aktualisiert 2026-11-19 📅 Erstellt 2021-10-28
6
sgl-project/sglang

SGLang ist ein Hochleistungs-Serving-Framework für große Sprachmodelle und multimodale Modelle.

sgl-project
⭐ 38,899 Python 👤 sgl-project Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2024-01-08
7
google-ai-edge/mediapipe

Plattformübergreifende, anpassbare ML-Lösungen für Live- und Streaming-Medien.

google-ai-edge
⭐ 37,769 C++ 👤 google-ai-edge Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2019-06-13
8
SYSTRAN/faster-whisper

Schnellere Whisper-Transkription mit CTranslate2

SYSTRAN
⭐ 26,924 Python 👤 SYSTRAN Organization 🕐 Aktualisiert 2026-11-12 📅 Erstellt 2023-02-11
9
Tencent/ncnn

ncnn ist ein Hochleistungs-Inferenz-Framework für neuronale Netze, optimiert für mobile Plattformen

Tencent
⭐ 24,082 C++ 👤 Tencent Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2017-06-30
10
stas00/ml-engineering

Open Book über Machine Learning Engineering

stas00
⭐ 19,738 Python 👤 stas00 User 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2020-09-02
11
FlashML-org/FreeToken

FreeToken bringt Modellbereitstellung auf Rechenzentrumsniveau auf Ihren Desktop. Führen Sie riesige Modelle lokal, schnell und effizient aus.

FlashML-org
⭐ 17,522 Python 👤 FlashML-org User 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2026-07-20
⭐ 16,519 Python 👤 GeeeekExplorer User 🕐 Aktualisiert 2026-04-26 📅 Erstellt 2025-06-09
13
gvergnaud/ts-pattern

🎨 Die umfassende Mustererkennungsbibliothek für TypeScript mit intelligenter Typinferenz.

gvergnaud
⭐ 15,224 TypeScript 👤 gvergnaud User 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2020-05-24
14
NVIDIA/TensorRT

NVIDIA® TensorRT™ ist ein SDK für hochleistungsfähige Deep-Learning-Inferenz auf NVIDIA-GPUs. Dieses Repository enthält die Open-Source-Komponenten von TensorRT.

NVIDIA
⭐ 13,475 C++ 👤 NVIDIA Organization 🕐 Aktualisiert 2026-11-18 📅 Erstellt 2019-05-02
15
LMCache/LMCache

LMCache: Beschleunigen Sie Ihr LLM mit der schnellsten KV-Cache-Schicht

LMCache
⭐ 12,405 Python 👤 LMCache Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2024-05-28
16
openvinotoolkit/openvino

OpenVINO™ ist ein Open-Source-Toolkit zur Optimierung und Bereitstellung von KI-Inferenz.

openvinotoolkit
⭐ 11,869 C++ 👤 openvinotoolkit Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2018-10-15
17
triton-inference-server/server

Der Triton Inference Server bietet eine optimierte Cloud- und Edge-Inferenz-Lösung.

triton-inference-server
⭐ 11,156 Python 👤 triton-inference-server Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2018-10-04
18
aws/amazon-sagemaker-examples

Beispiel-📓 Jupyter-Notebooks, die zeigen, wie man Machine-Learning-Modelle mit 🧠 Amazon SageMaker erstellt, trainiert und bereitstellt.

aws
⭐ 11,020 Jupyter Notebook 👤 aws Organization 🕐 Aktualisiert 2026-10-14 📅 Erstellt 2017-10-23
19
huggingface/text-generation-inference

Schlussfolgerung zur Textgenerierung großer Sprachmodelle

huggingface
⭐ 10,812 Python 👤 huggingface Organization 🕐 Aktualisiert 2026-01-08 📅 Erstellt 2022-10-08
20
ultralytics/yolov3

PyTorch-Implementierung von YOLOv3, YOLOv3-SPP und YOLOv3-tiny für Echtzeit-Objekterkennung mit Training, Validierung, Inferenz und Export in verschiedene Formate.

ultralytics
⭐ 10,647 Python 👤 ultralytics Organization 🕐 Aktualisiert 2026-11-07 📅 Erstellt 2018-08-26
21
RunanywhereAI/runanywhere-sdks

Produktionsreifes Toolkit zum lokalen Ausführen von KI

RunanywhereAI
⭐ 10,354 C++ 👤 RunanywhereAI Organization 🕐 Aktualisiert 2026-11-10 📅 Erstellt 2025-07-22
22
xorbitsai/inference

Open-Source-Inferenzplattform für Sprach-, Vision-, Embedding-, Reranking-, Bild-, Audio- und Videomodelle. Stellen Sie mehrere Engines auf heterogener Hardware bereit – vom Laptop bis zum verteilten Cluster. Stellen Sie Modelle über OpenAI-kompatible APIs bereit.

xorbitsai
⭐ 9,667 Python 👤 xorbitsai Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2023-06-14
23
oumi-ai/oumi

Qwen, Gemma oder jedes offene agentische LLM/VLM ganz einfach feinabstimmen (SFT/RL), evaluieren und bereitstellen!

oumi-ai
⭐ 9,441 Python 👤 oumi-ai Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2024-05-07
24
dusty-nv/jetson-inference

Hello AI World: Leitfaden zum Bereitstellen von Deep-Learning-Inferenznetzwerken und Deep-Vision-Primitiven mit TensorRT und NVIDIA Jetson.

dusty-nv
⭐ 9,015 C++ 👤 dusty-nv User 🕐 Aktualisiert 2025-10-16 📅 Erstellt 2016-07-30
25
vllm-project/vllm-omni

Ein Framework für effiziente Modellinferenz mit Omni-Modalitäts-Modellen

vllm-project
⭐ 7,884 Python 👤 vllm-project Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2025-09-11
26
Human-Agent-Society/reef

Infrastruktur für sich kontinuierlich selbst verbessernde Agenten

Human-Agent-Society
⭐ 7,652 Python 👤 Human-Agent-Society Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2026-08-31
27
mizorewww/laya-mlx

Native MLX-Laufzeitumgebung für typisierte Entscheidungsmodelle von Laya – kurze Entscheidungen in 7–14 ms auf einem M3 Max. Keine Textgenerierung, kein PyTorch und keine Cloud-API.

mizorewww
⭐ 7,115 Python 👤 mizorewww User 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2026-09-19
28
kvcache-ai/Mooncake

Mooncake ist die Serving-Plattform für Kimi, einen führenden LLM-Service, der von Moonshot AI bereitgestellt wird.

kvcache-ai
⭐ 7,100 C++ 👤 kvcache-ai Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2024-06-25
29
gcanti/io-ts

Laufzeittypensystem für IO-Dekodierung/Kodierung

gcanti
⭐ 6,812 TypeScript 👤 gcanti User 🕐 Aktualisiert 2024-12-10 📅 Erstellt 2017-01-28
30
vllm-project/semantic-router

Eine offene, programmierbare Entscheidungsebene für Modelle und Rechenleistung.

vllm-project
⭐ 6,514 Go 👤 vllm-project Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2025-08-26
31
argmaxinc/argmax-oss-swift

On-Device-Sprach-KI für Apple Silicon

argmaxinc
⭐ 6,471 Swift 👤 argmaxinc Organization 🕐 Aktualisiert 2026-10-27 📅 Erstellt 2024-01-26
32
Trusted-AI/adversarial-robustness-toolbox

Adversarial Robustness Toolbox (ART) - Python-Bibliothek für Machine-Learning-Sicherheit - Evasion, Poisoning, Extraction, Inference - Rote und Blaue Teams

Trusted-AI
⭐ 6,322 Python 👤 Trusted-AI Organization 🕐 Aktualisiert 2026-11-13 📅 Erstellt 2018-03-15
33
gpustack/gpustack

Ein GPU-Cluster-Manager für hochleistungsfähiges KI-Modell-Serving (vLLM, SGLang) und bedarfsgesteuerte, per SSH zugängliche GPU-Instanzen.

gpustack
⭐ 6,097 Python 👤 gpustack Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2024-05-11
34
llm-d/llm-d

Modernste Inferenzleistung mit modernen Beschleunigern auf Kubernetes

llm-d
⭐ 5,325 Python 👤 llm-d Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2025-04-29
35
superduper-io/superduper

Superduper: End-to-End-Framework zum Erstellen benutzerdefinierter KI-Anwendungen und -Agenten.

superduper-io
⭐ 5,317 Python 👤 superduper-io Organization 🕐 Aktualisiert 2025-09-01 📅 Erstellt 2022-08-30
36
tencentmusic/cube-studio

cube studio Open-Source Cloud-Native One-Stop Machine Learning/Deep Learning/Large Model AI Platform, MLOps Algorithmus-Link Ganzprozess, Rechenleistung-Leihplattform, Notebook Online-Entwicklung, Drag-and-Drop-Aufgabenfluss-Pipeline-Orchestrierung, Multi-Machine-Multi-GPU-verteiltes Training, Hyperparameter-Suche, Inferenzdienst VGPU-Virtualisierung, Edge Computing, Annotationsplattform-Automatisierte-Annotation, Large Model SFT Fine-Tuning/Reward Model/Reinforcement Learning Training von Deepseek usw., Multi-Machine-Inferenz von Large Models wie vLLM/Ollama/MindSpore, Private Knowledge Base, AI Model Marketplace, Unterstützung für heimische CPU/GPU/NPU Ascend-Ökosystem, Unterstützung für RDMA, Unterstützung für verteilte Frameworks wie PyTorch/TF/MXNet/DeepSpeed/Paddle/ColossalAI/Horovod/Ray/Volcano

tencentmusic
⭐ 5,085 👤 tencentmusic Organization 🕐 Aktualisiert 2026-10-09 📅 Erstellt 2021-08-17
37
NVIDIA-AI-IOT/torch2trt

Ein einfach zu bedienender PyTorch-zu-TensorRT-Konverter

NVIDIA-AI-IOT
⭐ 4,840 Python 👤 NVIDIA-AI-IOT Organization 🕐 Aktualisiert 2024-08-17 📅 Erstellt 2019-04-27
38
hao-ai-lab/FastVideo

Ein einheitlicher Inferenz- und Post-Training-Framework für die beschleunigte Videogenerierung.

hao-ai-lab
⭐ 4,833 Python 👤 hao-ai-lab Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2024-10-24
39
OpenNMT/CTranslate2

Schneller Inferenz-Engine für Transformer-Modelle

OpenNMT
⭐ 4,758 C++ 👤 OpenNMT Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2019-09-23
40
Tencent/TNN

TNN: Entwickelt vom Tencent Youtu Lab und Guangying Lab, ein einheitliches Deep-Learning-Inferenz-Framework für Mobilgeräte, Desktops und Server. TNN zeichnet sich durch mehrere herausragende Merkmale aus, darunter plattformübergreifende Kompatibilität, hohe Leistung, Modellkomprimierung und Codebereinigung. Basierend auf ncnn und Rapidnet stärkt TNN die Unterstützung und Leistungsoptimierung für mobile Geräte weiter und nutzt auch die Vorteile guter Erweiterbarkeit und hoher Leistung aus bestehenden Open-Source-Bemühungen.

Tencent
⭐ 4,635 C++ 👤 Tencent Organization 🕐 Aktualisiert 2025-05-09 📅 Erstellt 2020-05-29
41
typedb/typedb

TypeDB: Gebaut für Systeme, nicht für Datensätze

typedb
⭐ 4,524 Rust 👤 typedb Organization 🕐 Aktualisiert 2026-11-19 📅 Erstellt 2016-07-11
42
openvinotoolkit/open_model_zoo

Vortrainierte Deep-Learning-Modelle und Demos (hohe Qualität und extrem schnell)

openvinotoolkit
⭐ 4,440 Python 👤 openvinotoolkit Organization 🕐 Aktualisiert 2026-11-16 📅 Erstellt 2018-10-15
43
zml/zml

Jedes Modell. Jede Hardware. Keine Kompromisse. Entwickelt mit @ziglang / @openxla / MLIR / @bazelbuild

zml
⭐ 4,292 Zig 👤 zml Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2024-09-17
44
uxlfoundation/oneDNN

Open-Source-Bibliothek mit optimierten Deep-Learning-Operationen (Matrixmultiplikation, Faltung und Attention) für CPUs (x64, AArch64, RISC-V) und Intel-GPUs. Wird von PyTorch, TensorFlow, OpenVINO und ONNX Runtime verwendet.

uxlfoundation
⭐ 4,094 C++ 👤 uxlfoundation Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2016-05-09
45
OpenCSGs/csghub

CSGHub ist eine brandneue Open-Source-Plattform zur Verwaltung von LLMs, entwickelt vom OpenCSG-Team. Es bietet sowohl Open-Source- als auch On-Premise/SaaS-Lösungen mit Funktionen, die mit Hugging Face vergleichbar sind. Erhalten Sie die volle Kontrolle über den Lebenszyklus von LLMs, Datensätzen und Agenten, mit Python SDK-Kompatibilität mit Hugging Face. Machen Sie mit! ⭐️

OpenCSGs
⭐ 4,083 Vue 👤 OpenCSGs Organization 🕐 Aktualisiert 2026-11-13 📅 Erstellt 2024-01-12
46
FlashML-org/FreeVideo

Erstelle Videos auf dem Computer, den du bereits besitzt. FreeVideo führt MiniMax H3 mit nur 8 GB VRAM und 16 GB RAM aus und passt seinen Beschleunigungspfad an deine Hardware an.

FlashML-org
⭐ 4,049 Python 👤 FlashML-org User 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2026-09-13
47
PaddlePaddle/FastDeploy

Leistungsstarkes Inference- und Deployment-Toolkit für LLMs und VLMs auf Basis von PaddlePaddle

PaddlePaddle
⭐ 3,722 Python 👤 PaddlePaddle Organization 🕐 Aktualisiert 2026-09-24 📅 Erstellt 2022-06-27
48
superlinked/sie

Open-Source-Inferenzserver und Produktionscluster für alle Modelle, die Ihr Agent benötigt.

superlinked
⭐ 3,534 Python 👤 superlinked Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2023-11-07
49
huggingface/optimum

Beschleunigen Sie Inferenz und Training von 🤗 Transformers, Diffusers, TIMM und Sentence Transformers mit einfach zu bedienenden Hardware-Optimierungswerkzeugen

huggingface
⭐ 3,525 Python 👤 huggingface Organization 🕐 Aktualisiert 2026-11-16 📅 Erstellt 2021-07-20
50
zjhellofss/KuiperInfer

Gute Projekte für Hochschulabsolventen, Herbstkampagnen, Frühjahrskampagnen und Praktika! Begleitet Sie Schritt für Schritt bei der Implementierung einer Hochleistungs-Deep-Learning-Inferenzbibliothek, die das Schlussfolgern für große Modelle wie Llama2, Unet, YoloV5, Resnet usw. unterstützt. Implementieren Sie Schritt für Schritt eine Hochleistungs-Deep-Learning-Inferenzbibliothek.

zjhellofss
⭐ 3,444 C++ 👤 zjhellofss User 🕐 Aktualisiert 2025-06-22 📅 Erstellt 2022-11-21

Häufig gestellte Fragen

1

Welches ist das beliebteste #inference-Repository auf GitHub?

Das am höchsten eingestufte Open-Source-#inference-Projekt auf GitHub ist vllm-project/vllm mit 97,302 Sternen. Eine hochdurchsatzfähige und speichereffiziente Inferenz- und Serving-Engine für LLMs

2

Welche Programmiersprachen werden in #inference-Repositories am häufigsten verwendet?

Unter den am höchsten eingestuften #inference-Projekten auf GitHub sind Python, C++, TypeScript, Jupyter Notebook die am häufigsten verwendeten Programmiersprachen.

3

Wie wird das Ranking der #inference-Repositories berechnet?

Wir verfolgen 144 aktive Open-Source-Repositories, die mit #inference getaggt sind (500+ Sterne), mit insgesamt 870,238 Sternen und durchschnittlich 6,043 Sternen pro Repository. Die Rankings werden täglich über die GitHub-API aktualisiert.