Git Stars Git Stars

#inference Repositories

144
Gesamtzahl der Repositories
870,238
Gesamtanzahl der Sterne
6,043
Durchschnittliche Sterne/Repo

Insgesamt 144 Repositories

101
OpenIntroStat/ims

📚 Einführung in die Moderne Statistik - Ein Lehrbuch auf Hochschulniveau, Open Source, mit einem modernen Ansatz, der multivariate Beziehungen und simulationsbasierte Inferenz hervorhebt.

OpenIntroStat
⭐ 957 JavaScript 👤 OpenIntroStat Organization 🕐 Aktualisiert 2026-11-18 📅 Erstellt 2015-07-13
102
alvarobartt/hf-mem

Ein CLI zur Schätzung des Speicherbedarfs für Inferenz bei Hugging Face Modellen, geschrieben in Python.

alvarobartt
⭐ 956 Python 👤 alvarobartt User 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2025-12-22
103
uber/neuropod

Eine einheitliche Schnittstelle zum Ausführen von Deep-Learning-Modellen aus mehreren Frameworks

uber
⭐ 941 C++ 👤 uber Organization 🕐 Aktualisiert 2024-01-03 📅 Erstellt 2019-01-23
104
TrenTorch/TrenTorch

Lerne Machine Learning nicht auswendig. Verstehe es von Grund auf – einschließlich Inferenz, CUDA, Deep Learning, Data Science und Reinforcement Learning.

TrenTorch
⭐ 867 Python 👤 TrenTorch Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2026-08-21
105
PABannier/bark.cpp

Suno AI's Bark-Modell in C/C++ für schnelle Text-zu-Sprache-Generierung

PABannier
⭐ 850 C++ 👤 PABannier User 🕐 Aktualisiert 2024-11-16 📅 Erstellt 2023-07-01
106
triton-inference-server/pytriton

PyTriton ist eine Flask/FastAPI-ähnliche Schnittstelle, die die Bereitstellung von Triton in Python-Umgebungen vereinfacht.

triton-inference-server
⭐ 847 Python 👤 triton-inference-server Organization 🕐 Aktualisiert 2025-08-13 📅 Erstellt 2022-11-08
107
cyrusbehr/tensorrt-cpp-api

TensorRT C++ API Tutorial

cyrusbehr
⭐ 813 C++ 👤 cyrusbehr User 🕐 Aktualisiert 2026-05-30 📅 Erstellt 2021-10-25
108
fudan-generative-vision/Remory

Remory: Residualgedächtnis für die Kontextkomprimierung erlernen

fudan-generative-vision
⭐ 809 Python 👤 fudan-generative-vision Organization 🕐 Aktualisiert 2026-11-09 📅 Erstellt 2026-10-07
109
serizba/cppflow

TensorFlow-Modelle in C++ ohne Installation und ohne Bazel ausführen

serizba
⭐ 809 C++ 👤 serizba User 🕐 Aktualisiert 2024-08-16 📅 Erstellt 2019-05-16
110
SharpAI/SwiftLM

⚡ Native MLX Swift LLM-Inferenzserver für Apple Silicon. OpenAI-kompatible API, SSD-Streaming für 100B+ MoE-Modelle, TurboQuant KV-Cache-Kompression, MACOS + iOS iPhone-App.

SharpAI
⭐ 802 Swift 👤 SharpAI Organization 🕐 Aktualisiert 2026-11-19 📅 Erstellt 2026-03-21
111
pipeless-ai/pipeless

Ein Open-Source-Computer-Vision-Framework zum Erstellen und Bereitstellen von Apps in wenigen Minuten

pipeless-ai
⭐ 794 Rust 👤 pipeless-ai Organization 🕐 Aktualisiert 2024-05-08 📅 Erstellt 2023-07-21
112
emlearn/emlearn

Inferenz-Engine für Machine Learning auf Mikrocontrollern und eingebetteten Geräten

emlearn
⭐ 776 Python 👤 emlearn Organization 🕐 Aktualisiert 2026-11-10 📅 Erstellt 2018-03-16
113
rnchg/APT

KI-Produktivitätstool – Kostenlos und Open Source, verbessert die Benutzerproduktivität und schützt Privatsphäre und Datensicherheit. Einschließlich, aber nicht beschränkt auf: integrierte lokale exklusive Modelle wie ChatGPT, DeepSeek, Phi, Qwen und andere, intelligente Stapelverarbeitung von Bildern, Videos, Audio usw. mit einem Klick.

rnchg
⭐ 768 C# 👤 rnchg User 🕐 Aktualisiert 2025-12-13 📅 Erstellt 2024-06-19
114
h2non/filetype.py

Kleines, abhängigkeitsfreies, schnelles Python-Paket zur Erkennung von Binärdateitypen durch Überprüfung der Magic-Number-Signatur

h2non
⭐ 766 Python 👤 h2non User 🕐 Aktualisiert 2025-05-02 📅 Erstellt 2016-06-18
115
stamparm/identYwaf

Blind-WAF-Identifikationswerkzeug

stamparm
⭐ 758 Python 👤 stamparm User 🕐 Aktualisiert 2026-09-10 📅 Erstellt 2019-01-10
116
aws/studio-lab-examples

Beispiel-Notebooks für die Arbeit mit SageMaker Studio Lab. Melden Sie sich über den unten stehenden Link für ein Konto an!

aws
⭐ 753 Jupyter Notebook 👤 aws Organization 🕐 Aktualisiert 2024-08-24 📅 Erstellt 2021-11-23
117
pegainfer-project/pegainfer

Reine Rust + CUDA LLM-Inferenz-Engine — kein PyTorch, OpenAI-kompatibel, bedient Qwen3 bis Kimi-K2

pegainfer-project
⭐ 748 Rust 👤 pegainfer-project Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2026-02-17
118
MegEngine/InferLLM

ein leichtgewichtiges LLM-Modell-Inferenz-Framework

MegEngine
⭐ 746 C++ 👤 MegEngine Organization 🕐 Aktualisiert 2024-04-07 📅 Erstellt 2023-05-04
119
hidet-org/hidet

Ein Open-Source-Framework/Compiler für effizientes Deep Learning, geschrieben in Python.

hidet-org
⭐ 742 Python 👤 hidet-org Organization 🕐 Aktualisiert 2025-09-04 📅 Erstellt 2022-01-04
120
microsoft/vidur

Genauer, großangelegter und erweiterbarer Simulator für LLM-Inferenzsysteme

microsoft
⭐ 733 Python 👤 microsoft Organization 🕐 Aktualisiert 2026-08-24 📅 Erstellt 2023-11-02
121
zhiqwang/yolort

yolort ist ein Laufzeit-Stack für yolov5 auf spezialisierten Beschleunigern wie tensorrt, libtorch, onnxruntime, tvm und ncnn.

zhiqwang
⭐ 730 Python 👤 zhiqwang User 🕐 Aktualisiert 2026-04-10 📅 Erstellt 2020-08-14
122
intel/ai-reference-models

Intel® AI Reference Models: Enthält Intel-Optimierungen für das Ausführen von Deep-Learning-Workloads auf Intel® Xeon® Scalable-Prozessoren und Intel® Data Center GPUs

intel
⭐ 728 Python 👤 intel Organization 🕐 Aktualisiert 2026-02-11 📅 Erstellt 2018-10-23
123
privacytrustlab/ml_privacy_meter

Privacy Meter: Eine Open-Source-Bibliothek zur Überprüfung des Datenschutzes in statistischen Algorithmen und Algorithmen für maschinelles Lernen.

privacytrustlab
⭐ 715 Jupyter Notebook 👤 privacytrustlab Organization 🕐 Aktualisiert 2025-04-26 📅 Erstellt 2020-04-08
124
DerwenAI/kglab

Graph Data Science: eine Abstraktionsschicht in Python zum Erstellen von Wissensgraphen, integriert mit beliebten Graphbibliotheken – über Pandas, NetworkX, RAPIDS, RDFlib, pySHACL, PyVis, morph-kgc, pslpython, pyarrow usw.

DerwenAI
⭐ 696 Jupyter Notebook 👤 DerwenAI Organization 🕐 Aktualisiert 2026-01-25 📅 Erstellt 2020-10-25
125
kossisoroyce/timber

Ollama für klassische ML-Modelle. AOT-Compiler, der XGBoost, LightGBM, scikit-learn, CatBoost & ONNX-Modelle in nativen C99-Inferenzcode umwandelt. Ein Befehl zum Laden, ein Befehl zum Servieren. 336x schneller als Python-Inferenz.

kossisoroyce
⭐ 692 Python 👤 kossisoroyce User 🕐 Aktualisiert 2026-04-16 📅 Erstellt 2026-02-27
126
zhongkaifu/TensorSharp

Eine native .NET-Inferenz-Engine für große Sprachmodelle (LLMs) und eine Agenten-Laufzeitumgebung für GGUF-Modelle. TensorSharp bietet eine Konsolenanwendung, eine webbasierte Chatbot-Oberfläche, eine iPhone-App sowie mit Ollama/OpenAI kompatible HTTP-APIs für den programmgesteuerten Zugriff. Es unterstützt Windows, macOS, iOS und Linux mit vollständiger GPU-Unterstützung.

zhongkaifu
⭐ 681 C# 👤 zhongkaifu User 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2026-04-03
127
AntonMu/TrainYourOwnYOLO

Trainiere einen State-of-the-Art yolov3 Objektdetektor von Grund auf!

AntonMu
⭐ 673 Jupyter Notebook 👤 AntonMu User 🕐 Aktualisiert 2024-08-02 📅 Erstellt 2019-07-17
128
Nehanth/pooled

Peer-to-Peer-LLM-Inferenz im Browser: Bündle deine Geräte, um große offene Modelle für Chat- und Programmieragenten auszuführen.

Nehanth
⭐ 658 JavaScript 👤 Nehanth User 🕐 Aktualisiert 2026-11-03 📅 Erstellt 2026-09-01
129
xboot/libonnx

Eine leichtgewichtige, tragbare reine C99 ONNX-Inferenz-Engine für eingebettete Geräte mit Hardwarebeschleunigungsunterstützung.

xboot
⭐ 657 C 👤 xboot Organization 🕐 Aktualisiert 2026-07-07 📅 Erstellt 2020-10-14
130
open-edge-platform/dlstreamer

Das Deep Learning Streamer (DL Streamer) Pipeline Framework ist ein Open-Source-Framework für Streaming-Media-Analysen, das auf dem Multimedia-Framework GStreamer* basiert und zur Erstellung komplexer Media-Analyse-Pipelines für die Cloud oder am Edge entwickelt wurde.

open-edge-platform
⭐ 648 C++ 👤 open-edge-platform Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2019-03-13
131
WaveSpeedAI/waverless

Hochleistungsfähige serverlose GPU-Aufgabenorchestrierung – die Scheduling-Schicht hinter wavespeed.ai

WaveSpeedAI
⭐ 635 Go 👤 WaveSpeedAI Organization 🕐 Aktualisiert 2026-08-21 📅 Erstellt 2025-10-16
132
therealoliver/Deepdive-llama3-from-scratch

Erreichen Sie den Llama3-Inferenzschritt für Schritt, erfassen Sie die Kernkonzepte, meistern Sie die Prozessableitung, implementieren Sie den Code.

therealoliver
⭐ 629 Jupyter Notebook 👤 therealoliver User 🕐 Aktualisiert 2025-02-24 📅 Erstellt 2025-02-19
133
Rudrabha/LipGAN

Dieses Repository enthält den Code für LipGAN. LipGAN wurde als Teil des Papers mit dem Titel "Towards Automatic Face-to-Face Translation" veröffentlicht.

Rudrabha
⭐ 617 Python 👤 Rudrabha User 🕐 Aktualisiert 2025-06-22 📅 Erstellt 2020-01-02
134
grimoire/mmdetection-to-tensorrt

MMDetection-Modell in TensorRT konvertieren, Unterstützung für FP16, INT8, Batch-Input, dynamische Form usw.

grimoire
⭐ 598 Python 👤 grimoire User 🕐 Aktualisiert 2024-02-18 📅 Erstellt 2020-07-12
135
agentic-in/inferoa

Inferenz-natives Agenten-Harness für Token-Maximierung im Loop-Engineering

agentic-in
⭐ 570 TypeScript 👤 agentic-in Organization 🕐 Aktualisiert 2026-06-18 📅 Erstellt 2026-06-08
136
spark-arena/sparkrun

sparkrun – LLM-Inferenz-Workloads auf NVIDIA-DGX-Spark-Systemen starten, verwalten und stoppen. Live-Support: https://discord.com/invite/GH5kRgv6ZD

spark-arena
⭐ 567 Python 👤 spark-arena Organization 🕐 Aktualisiert 2026-11-17 📅 Erstellt 2026-02-16
137
Koldim2001/YOLO-Patch-Based-Inference

Python-Bibliothek für YOLO-Kleinstobjekterkennung und Instanzsegmentierung

Koldim2001
⭐ 562 Python 👤 Koldim2001 User 🕐 Aktualisiert 2026-04-22 📅 Erstellt 2024-03-04
138
dllm-labs/mojo-dllm

Lokale Inferenz für Diffusions-Sprachmodelle (LLaDA, Dream), in Mojo geschrieben

dllm-labs
⭐ 546 Python 👤 dllm-labs Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2026-10-04
139
kaito-project/aikit

🏗️ Passen Sie Open-Source-LLMs einfach an, erstellen und stellen Sie sie bereit!

kaito-project
⭐ 545 Go 👤 kaito-project Organization 🕐 Aktualisiert 2026-11-16 📅 Erstellt 2023-09-20
140
kubedl-io/kubedl

Führen Sie Ihre Deep-Learning-Workloads auf Kubernetes einfacher und effizienter aus.

kubedl-io
⭐ 533 Go 👤 kubedl-io Organization 🕐 Aktualisiert 2024-03-04 📅 Erstellt 2019-12-10
141
triton-inference-server/model_analyzer

Triton Model Analyzer ist ein CLI-Tool, das hilft, die Rechen- und Speicheranforderungen der Triton Inference Server-Modelle besser zu verstehen.

triton-inference-server
⭐ 531 Python 👤 triton-inference-server Organization 🕐 Aktualisiert 2026-11-17 📅 Erstellt 2020-09-01
142
NVIDIA-ISAAC-ROS/isaac_ros_pose_estimation

Durch Deep Learning ermittelte und von NVIDIA beschleunigte 3D-Objektposenschätzung

NVIDIA-ISAAC-ROS
⭐ 520 C++ 👤 NVIDIA-ISAAC-ROS Organization 🕐 Aktualisiert 2026-11-18 📅 Erstellt 2021-11-04
143
mithril-security/blindai

Vertrauliche KI-Bereitstellung mit sicheren Enklaven :lock:

mithril-security
⭐ 512 Rust 👤 mithril-security Organization 🕐 Aktualisiert 2024-03-19 📅 Erstellt 2022-02-06
144
vectorch-ai/ScaleLLM

Ein High-Performance-Inferenzsystem für große Sprachmodelle, das für Produktionsumgebungen entwickelt wurde.

vectorch-ai
⭐ 502 C++ 👤 vectorch-ai Organization 🕐 Aktualisiert 2025-12-19 📅 Erstellt 2023-07-24