Git Stars Git Stars

#inference Repositories

144
Gesamtzahl der Repositories
870,238
Gesamtanzahl der Sterne
6,043
Durchschnittliche Sterne/Repo

Insgesamt 144 Repositories

51
trymirai/uzu

Eine Hochleistungs-Inferenz-Engine für KI-Modelle

trymirai
⭐ 3,378 Rust 👤 trymirai Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2025-06-23
52
openvinotoolkit/openvino_notebooks

📚 Jupyter Notebook-Tutorials für OpenVINO™

openvinotoolkit
⭐ 3,245 Jupyter Notebook 👤 openvinotoolkit Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2021-03-11
53
vllm-project/vllm-ascend

Von der Community gepflegtes Hardware-Plugin für vLLM auf Huawei Ascend

vllm-project
⭐ 3,128 Python 👤 vllm-project Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2025-01-29
54
pytorch/ao

PyTorch native Quantisierung für Training und Inferenz

pytorch
⭐ 3,032 Python 👤 pytorch Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2023-11-03
55
pykeio/ort

Schnelle ML-Inferenz & Training für ONNX-Modelle in Rust

pykeio
⭐ 2,626 Rust 👤 pykeio Organization 🕐 Aktualisiert 2026-11-18 📅 Erstellt 2022-11-26
56
data-infra/cube-studio

CubeStudio ist eine Open-Source-Cloud-native All-in-One-Plattform für maschinelles Lernen/Deep Learning/Großmodell-KI/MaaS/MLOps/KI-Plattform/Trainings- und Inferenzplattform, die den gesamten Algorithmus-Pipeline, Multi-Tenancy, Rechenleistungsvermietungsplattform, Token-Relay, Drag-and-Drop-Aufgabenfluss-Pipeline-Orchestrierung, Multi-Maschine-Multi-Karte verteiltes Training, Hyperparametersuche, Inferenzdienste, VGPU-Virtualisierung, Cloud-Edge-Gerät-Kooperation, Edge Computing, automatisierte Annotationsplattform, SFT-Feintuning/Belohnungsmodell/Verstärkungslernen-Training für große Modelle wie DeepSeek, Multi-Maschine-Inferenz für große Modelle mit vLLM/Ollama/MindIE, private Wissensdatenbank-LLMOps-Agenten, KI-Modellmarkt, Unterstützung für nationale heterogene Rechenleistungsplanung (Ascend, Cambricon, Hygon, Moore Threads, Muxi usw.), Unterstützung für IB/RoCE/RDMA und Xinchuang-Unterstützung umfasst.

data-infra
⭐ 2,615 Python 👤 data-infra User 🕐 Aktualisiert 2026-10-12 📅 Erstellt 2024-07-02
57
huggingface/huggingface.js

Hugging Face mit JavaScript verwenden

huggingface
⭐ 2,613 TypeScript 👤 huggingface Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2023-02-06
58
ddalcu/mlx-serve

Native LLM-Inferenzserver für Apple Silicon. Kompatibel mit den APIs von OpenAI und Anthropic. Ohne Python. macOS-App mit Zig-Backend und Swift-Frontend für die Generierung von Chats, Musik, Sprache und Videos.

ddalcu
⭐ 2,528 Zig 👤 ddalcu User 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2026-02-17
59
google/XNNPACK

Hocheffiziente Gleitkomma-Neuronale-Netzwerk-Inferenzoperatoren für Mobilgeräte, Server und Web

google
⭐ 2,506 C 👤 google Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2019-09-13
60
roboflow/inference

Verwandeln Sie jeden Computer oder jedes Edge-Gerät in ein Kommandozentrum für Ihre Computer-Vision-Projekte.

roboflow
⭐ 2,500 Python 👤 roboflow Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2023-07-31
61
theagentrouter/agent-router

Verwaltet vereinheitlichten Zugriff auf generative KI-Dienste, die auf Envoy Gateway aufgebaut sind

theagentrouter
⭐ 2,428 Go 👤 theagentrouter Organization 🕐 Aktualisiert 2026-11-19 📅 Erstellt 2024-10-21
62
adithya-s-k/AI-Engineering.academy

Angewandte KI meistern, ein Konzept nach dem anderen

adithya-s-k
⭐ 2,388 Jupyter Notebook 👤 adithya-s-k User 🕐 Aktualisiert 2026-02-27 📅 Erstellt 2023-10-05
63
dstackai/dstack

Eine einheitliche Orchestrierungsschicht für heterogene KI-Rechenressourcen. Sie standardisiert die Verwaltung von Rechenressourcen sowie die Ausführung von Training und Inferenz in GPU-Clouds, Kubernetes, virtuellen Maschinen oder Bare-Metal-Clustern.

dstackai
⭐ 2,319 Python 👤 dstackai Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2022-01-04
64
mozilla-ai/any-llm

Kommunizieren Sie mit einem LLM-Anbieter über eine einzige Schnittstelle

mozilla-ai
⭐ 2,265 Python 👤 mozilla-ai Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2025-07-14
65
RightNow-AI/picolm

Führe ein LLM mit 1 Milliarde Parametern auf einem $10-Board mit 256 MB RAM aus.

RightNow-AI
⭐ 2,218 C 👤 RightNow-AI Organization 🕐 Aktualisiert 2026-02-22 📅 Erstellt 2026-02-19
66
magenta/magenta-js

Magenta.js: Musik- und Kunsterzeugung mit maschinellem Lernen im Browser

magenta
⭐ 2,136 TypeScript 👤 magenta Organization 🕐 Aktualisiert 2026-06-22 📅 Erstellt 2018-03-26
67
tairov/llama2.mojo

Inferenz Llama 2 in einer Datei aus reinem 🔥

tairov
⭐ 2,126 Mojo 👤 tairov User 🕐 Aktualisiert 2026-09-30 📅 Erstellt 2023-09-10
68
deepspeedai/DeepSpeed-MII

MII ermöglicht latenzarme und hochleistungsfähige Inferenz, angetrieben von DeepSpeed.

deepspeedai
⭐ 2,107 Python 👤 deepspeedai Organization 🕐 Aktualisiert 2025-06-30 📅 Erstellt 2022-03-23
69
microsoft/aici

AICI: Prompts als (Wasm) Programme

microsoft
⭐ 2,077 Rust 👤 microsoft Organization 🕐 Aktualisiert 2025-01-22 📅 Erstellt 2023-09-26
70
SemiAnalysisAI/InferenceX

Open-Source-Forschungsplattform für Inferenz

SemiAnalysisAI
⭐ 2,074 Python 👤 SemiAnalysisAI Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2025-07-12
71
sgl-project/sglang-omni

Hochleistungs-Laufzeitumgebung für interaktive Superintelligenzsysteme

sgl-project
⭐ 1,882 Python 👤 sgl-project Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2026-01-07
72
AgibotTech/agibot_x1_infer

Das Inferenzmodul für AgiBot X1.

AgibotTech
⭐ 1,817 C++ 👤 AgibotTech Organization 🕐 Aktualisiert 2025-04-03 📅 Erstellt 2024-10-23
73
StartLuxLabs/StartLux-Decision

Offene Entscheidungsmodelle von 0,8B bis 27B: eine kalibrierte Wahrscheinlichkeit für jede Option in einem Durchgang und nur bei Unsicherheit ein kurzer Gedankengang. Engine für vLLM, llama.cpp und MLX.

StartLuxLabs
⭐ 1,780 Python 👤 StartLuxLabs Organization 🕐 Aktualisiert 2026-10-23 📅 Erstellt 2026-09-29
74
theopenco/llmgateway

Routen, verwalten und analysieren Sie Ihre LLM-Anfragen über mehrere Anbieter hinweg mit einer einheitlichen API-Schnittstelle.

theopenco
⭐ 1,755 TypeScript 👤 theopenco Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2025-04-12
75
Maratyszcza/NNPACK

Beschleunigungspaket für neuronale Netze auf Multi-Core-CPUs

Maratyszcza
⭐ 1,702 C 👤 Maratyszcza User 🕐 Aktualisiert 2024-06-11 📅 Erstellt 2016-03-21
76
ELS-RD/transformer-deploy

Effizienter, skalierbarer und unternehmenstauglicher CPU/GPU-Inferenzserver für 🤗 Hugging Face Transformer-Modelle 🚀

ELS-RD
⭐ 1,689 Python 👤 ELS-RD Organization 🕐 Aktualisiert 2024-10-23 📅 Erstellt 2021-10-31
77
RunanywhereAI/trnrt

Die Open-Source-Inferenz-Engine für LLMs auf AWS Trainium: NKI-Megakerne, 1-Million-Token-Kontext und OpenAI-kompatible API. Von RunAnywhere.

RunanywhereAI
⭐ 1,653 Python 👤 RunanywhereAI Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2026-10-30
78
xLLM-AI/xllm

Eine leistungsstarke Inferenz-Engine für LLM-, VLM- und DiT-Modelle, optimiert für verschiedene KI-Beschleuniger. Sie wird von der OpenAtom Foundation gehostet.

xLLM-AI
⭐ 1,626 C++ 👤 xLLM-AI Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2025-08-12
79
Delta-ML/delta

DELTA ist eine auf Deep Learning basierende Plattform zur Verarbeitung natürlicher Sprache und Sprache. LF AI & DATA Projects: https://lfaidata.foundation/projects/delta/

Delta-ML
⭐ 1,602 Python 👤 Delta-ML Organization 🕐 Aktualisiert 2025-04-16 📅 Erstellt 2019-05-29
80
utkuozdemir/nvidia_gpu_exporter

NVIDIA-GPU-Exporter für Prometheus unter Verwendung der nvidia-smi-Binärdatei ODER von NVML

utkuozdemir
⭐ 1,599 Go 👤 utkuozdemir User 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2021-06-08
81
Tencent/TurboTransformers

eine schnelle und benutzerfreundliche Laufzeitumgebung für Transformer-Inferenz (Bert, Albert, GPT2, Decoders usw.) auf CPU und GPU.

Tencent
⭐ 1,546 C++ 👤 Tencent Organization 🕐 Aktualisiert 2025-07-18 📅 Erstellt 2020-04-20
⭐ 1,503 Python 👤 Stability-AI Organization 🕐 Aktualisiert 2025-01-08 📅 Erstellt 2024-10-09
83
sybil-solutions/inference-optimisation-skill

Agenten-Skill zur schrittweisen Optimierung der lokalen LLM-Bereitstellungsgeschwindigkeit (Decoding, spekulatives Decoding, Prefill, KV, Start, TTFT) auf beliebiger Hardware und mit beliebiger Quantisierung

sybil-solutions
⭐ 1,425 Python 👤 sybil-solutions Organization 🕐 Aktualisiert 2026-11-16 📅 Erstellt 2026-11-16
84
alibaba/rtp-llm

RTP-LLM: Alibabas Hochleistungs-LLM-Inferenz-Engine für diverse Anwendungen.

alibaba
⭐ 1,402 Python 👤 alibaba Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2023-12-27
85
ebhy/budgetml

Stellen Sie einen ML-Inferenzdienst mit einem knappen Budget in weniger als 10 Codezeilen bereit.

ebhy
⭐ 1,345 Python 👤 ebhy Organization 🕐 Aktualisiert 2024-02-12 📅 Erstellt 2020-12-27
86
StarlightSearch/EmbedAnything

Hochperformante, modulare, speichersichere und produktionsreife Inferenz, Aufnahme und Indizierung in Rust 🦀

StarlightSearch
⭐ 1,334 Rust 👤 StarlightSearch Organization 🕐 Aktualisiert 2026-11-18 📅 Erstellt 2024-03-31
87
qualcomm/ai-hub-models

Qualcomm® AI Hub Models ist unsere Sammlung hochmoderner Modelle des maschinellen Lernens, die für optimale Leistung (Latenz, Speicher usw.) optimiert und zur Bereitstellung auf Qualcomm®-Geräten bereit sind.

qualcomm
⭐ 1,269 Python 👤 qualcomm Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2023-12-20
88
NVIDIA/kvpress

LLM KV-Cache-Kompression leicht gemacht

NVIDIA
⭐ 1,258 Python 👤 NVIDIA Organization 🕐 Aktualisiert 2026-11-16 📅 Erstellt 2024-11-06
89
FenTechSolutions/CausalDiscoveryToolbox

Paket für kausale Inferenz in Graphen und in paarweisen Einstellungen. Tools für die Erholung der Graphstruktur und Abhängigkeiten sind enthalten.

FenTechSolutions
⭐ 1,242 Python 👤 FenTechSolutions Organization 🕐 Aktualisiert 2025-10-13 📅 Erstellt 2017-05-31
90
run-house/kubetorch

Verteilen und Ausführen von KI-Workloads auf Kubernetes auf magische Weise in Python, wie PyTorch für die ML-Infrastruktur.

run-house
⭐ 1,228 Python 👤 run-house Organization 🕐 Aktualisiert 2026-05-29 📅 Erstellt 2022-05-10
91
google/agentmesh

Agenten-Mesh

google
⭐ 1,208 Go 👤 google Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2026-04-21
92
jmaczan/tiny-vllm

Baue deine eigene Hochleistungs-LLM-Inferenz-Engine in C++ und CUDA - eine kleinere Version von vLLM

jmaczan
⭐ 1,207 C++ 👤 jmaczan User 🕐 Aktualisiert 2026-11-15 📅 Erstellt 2026-02-09
93
chrishayuk/larql

KI-Modelle ausführen, bereitstellen, abfragen und bearbeiten – eine auf VINDEX3 basierende Rust-Modelllaufzeitumgebung. VINDEX3 ist ein ausführbares, inspizierbares Modellformat.

chrishayuk
⭐ 1,196 Rust 👤 chrishayuk User 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2026-03-27
94
usamahz/cpu-performance-engineering

Ein Leseleitfaden zur CPU-Leistungsoptimierung – von einer einzelnen Instruktion bis zur Inferenz in der Produktion. Ausschließlich Primärquellen, mit einem ausführbaren Benchmark für jeden Abschnitt.

usamahz
⭐ 1,160 Python 👤 usamahz User 🕐 Aktualisiert 2026-10-08 📅 Erstellt 2026-09-17
95
receptron/laya

Führe Laya, das quelloffene und Jev-kompatible System-1-Entscheidungsmodell, über ONNX Runtime aus Node.js / TypeScript aus

receptron
⭐ 1,092 TypeScript 👤 receptron Organization 🕐 Aktualisiert 2026-10-17 📅 Erstellt 2026-09-19
96
Helldez/BigMoeOnEdge

Führe MoE-Modelle aus, die größer sind als dein RAM. MoE-Modelle der Spitzenklasse auf einem Smartphone, Laptop oder Edge-Gerät. Verlustfrei, mit unverändertem llama.cpp. Ein adaptiver Streaming-Optimierer. Jede Hardware, jedes Betriebssystem, jedes Modell und jede Quantisierung – über einen lokalen OpenAI-kompatiblen Server.

Helldez
⭐ 1,066 C++ 👤 Helldez User 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2026-07-10
97
jjang-ai/mlxstudio

MLX Studio – Die einfachste Möglichkeit, LLMs auf deinem Mac auszuführen. Eine All-in-One-Engine.

jjang-ai
⭐ 992 👤 jjang-ai User 🕐 Aktualisiert 2026-11-07 📅 Erstellt 2026-03-05
98
efeslab/Nanoflow

Ein durchsatzorientierter Hochleistungs-Serving-Framework für LLMs

efeslab
⭐ 978 Jupyter Notebook 👤 efeslab Organization 🕐 Aktualisiert 2026-03-29 📅 Erstellt 2024-08-19
99
openvinotoolkit/model_server

Ein skalierbarer Inferenz-Server für mit OpenVINO™ optimierte Modelle

openvinotoolkit
⭐ 961 C++ 👤 openvinotoolkit Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2018-09-26
100
huawei-noah/bolt

Bolt ist eine Deep-Learning-Bibliothek mit hoher Leistung und heterogener Flexibilität.

huawei-noah
⭐ 958 C++ 👤 huawei-noah Organization 🕐 Aktualisiert 2025-04-11 📅 Erstellt 2019-12-02