Git Stars Git Stars

#inference-engine Repositories

Entdecke 40 aktive Open-Source-GitHub-Repositories, die mit #inference-engine getaggt sind und insgesamt 102,063 Sterne gesammelt haben (durchschnittlich 2,551 Sterne pro Projekt). Spitzenreiter in diesem Themenbereich ist huggingface/candle mit 21,367 Sternen.

40
Gesamtzahl der Repositories
102,063
Gesamtanzahl der Sterne
2,551
Durchschnittliche Sterne/Repo

Insgesamt 40 Repositories

1
huggingface/candle

Minimalistisches ML-Framework für Rust

huggingface
⭐ 21,367 Rust 👤 huggingface Organization 🕐 Aktualisiert 2026-11-19 📅 Erstellt 2023-06-19
2
halfrost/Halfrost-Field

✍🏻 Quellcode-Tiefenanalysen, Systemdesign und Engineering-Blogs | Halfrost-Field: Notizen zur Quellcode-Analyse, Systemdesign und Ingenieurspraxis

halfrost
⭐ 13,259 Go 👤 halfrost User 🕐 Aktualisiert 2026-11-10 📅 Erstellt 2017-04-02
3
FareedKhan-dev/kimi-k3-in-c

Ein Kimi K3-Modell mit 2,78 Billionen Parametern, das Inferenz auf einer einzelnen CPU mit 8,24 GB RAM ausführt. Portables C99: kein BLAS, kein Framework, keine GPU.

FareedKhan-dev
⭐ 12,523 C 👤 FareedKhan-dev User 🕐 Aktualisiert 2026-11-16 📅 Erstellt 2026-08-01
4
bbycroft/llm-viz

3D-Visualisierung eines GPT-ähnlichen LLM

bbycroft
⭐ 5,599 TypeScript 👤 bbycroft User 🕐 Aktualisiert 2026-08-10 📅 Erstellt 2023-03-01
5
FedML-AI/FedML

FEDML – Die einheitliche und skalierbare ML-Bibliothek für groß angelegtes verteiltes Training, Model Serving und Federated Learning. FEDML Launch, ein Cross-Cloud-Scheduler, ermöglicht ferner die Ausführung beliebiger KI-Jobs in jeder GPU-Cloud oder jedem On-Premise-Cluster. Auf dieser Bibliothek aufbauend, ist TensorOpera AI (https://TensorOpera.ai) Ihre generative KI-Plattform im großen Maßstab.

FedML-AI
⭐ 4,068 Python 👤 FedML-AI Organization 🕐 Aktualisiert 2026-11-12 📅 Erstellt 2020-07-21
6
zjhellofss/KuiperInfer

Gute Projekte für Hochschulabsolventen, Herbstkampagnen, Frühjahrskampagnen und Praktika! Begleitet Sie Schritt für Schritt bei der Implementierung einer Hochleistungs-Deep-Learning-Inferenzbibliothek, die das Schlussfolgern für große Modelle wie Llama2, Unet, YoloV5, Resnet usw. unterstützt. Implementieren Sie Schritt für Schritt eine Hochleistungs-Deep-Learning-Inferenzbibliothek.

zjhellofss
⭐ 3,444 C++ 👤 zjhellofss User 🕐 Aktualisiert 2025-06-22 📅 Erstellt 2022-11-21
7
Luce-Org/lucebox

Lucebox-Inferenz-Engine für heterogene Hardware und Consumer-GPUs

Luce-Org
⭐ 3,024 C++ 👤 Luce-Org Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2026-04-03
8
xdit-project/xDiT

xDiT: Eine skalierbare Inferenz-Engine für Diffusion Transformers (DiTs) mit massivem Parallelismus

xdit-project
⭐ 2,755 Python 👤 xdit-project Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2024-03-19
9
youssofal/MTPLX

Die schnellste Möglichkeit, Qwen 3.8 Flash Next, Qwen 3.8 27B und Ternary Bonsai 2 27B auf einem Mac auszuführen: 125 Token/s in OpenCode auf einem M5 Max und ein 27B-Modell auf Macs mit 16 GB. Native MTP-Spekulativdekodierung auf Apple Silicon, bei jeder Temperatur exakt. Lokaler Server mit OpenAI- und Anthropic-Kompatibilität.

youssofal
⭐ 2,729 Python 👤 youssofal User 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2026-05-02
10
hyperjumptech/grule-rule-engine

Implementierung einer Rule Engine in Golang

hyperjumptech
⭐ 2,539 Go 👤 hyperjumptech Organization 🕐 Aktualisiert 2026-02-10 📅 Erstellt 2019-12-13
11
datawhalechina/zero-to-sglang

Offizieller SGLang-x-Datawhale-Kurs zur LLM-Inferenz: Verstehe die Inferenz, entwickle ein Mini-SGLang von Grund auf, lies anschließend den echten SGLang-Quellcode und reiche deinen ersten PR ein. Auf Englisch und Chinesisch verfügbar.

datawhalechina
⭐ 2,306 Python 👤 datawhalechina Organization 🕐 Aktualisiert 2026-11-17 📅 Erstellt 2026-08-27
12
ovg-project/kvcached

Virtualisierter elastischer KV-Cache für dynamische GPU-Freigabe und darüber hinaus

ovg-project
⭐ 2,051 Python 👤 ovg-project Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2025-05-27
13
siliconflow/onediff

OneDiff: Eine sofort einsatzbereite Beschleunigungsbibliothek für Diffusionsmodelle.

siliconflow
⭐ 1,961 Jupyter Notebook 👤 siliconflow Organization 🕐 Aktualisiert 2025-12-04 📅 Erstellt 2022-09-21
14
dphnAI/sonar

Groß angelegte LLM-Inferenz-Engine

dphnAI
⭐ 1,911 Python 👤 dphnAI Organization 🕐 Aktualisiert 2026-11-17 📅 Erstellt 2023-06-23
15
nobodywho-ooo/nobodywho

NobodyWho ist eine Inferenz-Engine, mit der Sie LLMs lokal und effizient auf jedem Gerät ausführen können.

nobodywho-ooo
⭐ 1,699 Rust 👤 nobodywho-ooo Organization 🕐 Aktualisiert 2026-11-19 📅 Erstellt 2024-09-03
16
xLLM-AI/xllm

Eine leistungsstarke Inferenz-Engine für LLM-, VLM- und DiT-Modelle, optimiert für verschiedene KI-Beschleuniger. Sie wird von der OpenAtom Foundation gehostet.

xLLM-AI
⭐ 1,626 C++ 👤 xLLM-AI Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2025-08-12
17
peonist-ai/halogen-flash-server

Lokale Inferenz mit dem Verhalten einer hochmodernen API: Qwen3.8-Flash-Next auf AMD Strix Halo sowie kleine NPU-Modelle – über die OpenAI- und Anthropic-APIs auf einem einzigen Port.

peonist-ai
⭐ 1,412 Shell 👤 peonist-ai Organization 🕐 Aktualisiert 2026-11-18 📅 Erstellt 2026-08-26
18
simplexai-labs/PolyStrata

Führen Sie große KI-Modelle auf Ihrem eigenen PC aus: Qwen3.8-Flash-Next mit der Engine von Strata sowie GLM 5.3 Flash, DeepSeek V4 Flash, LFM2.5, Qwen3.6, Ornith 1.5, Gemma 4, Tiel Coder und MiniCPM-V mit einer zweiten Engine, die für PolyStrata entwickelt wurde. Ein-Klick-Installation für Windows und Linux, mit OpenAI-/Anthropic-API auf localhost.

simplexai-labs
⭐ 1,324 C++ 👤 simplexai-labs Organization 🕐 Aktualisiert 2026-11-18 📅 Erstellt 2026-10-06
19
qualcomm/ai-hub-models

Qualcomm® AI Hub Models ist unsere Sammlung hochmoderner Modelle des maschinellen Lernens, die für optimale Leistung (Latenz, Speicher usw.) optimiert und zur Bereitstellung auf Qualcomm®-Geräten bereit sind.

qualcomm
⭐ 1,269 Python 👤 qualcomm Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2023-12-20
20
RainBowLuoCS/Gamer

Offizielle Implementierung von Gamer: Ein generalistisches Vision-Language-Action-Basismodell für Echtzeit-Spielagenten mit langfristigem Planungshorizont

RainBowLuoCS
⭐ 1,179 👤 RainBowLuoCS User 🕐 Aktualisiert 2026-11-16 📅 Erstellt 2026-10-30
21
PaddlePaddle/Paddle.js

Paddle.js ist ein Webprojekt für Baidu PaddlePaddle, ein Open-Source-Deep-Learning-Framework, das im Browser läuft. Paddle.js kann entweder ein vortrainiertes Modell laden oder ein Modell von Paddle-Hub mit den von Paddle.js bereitgestellten Modellumwandlungswerkzeugen transformieren. Es kann in jedem Browser ausgeführt werden, der WebGL/WebGPU/WebAssembly unterstützt. Es kann auch in Baidu Smartprogram und WX miniprogram ausgeführt werden.

PaddlePaddle
⭐ 1,071 JavaScript 👤 PaddlePaddle Organization 🕐 Aktualisiert 2024-04-03 📅 Erstellt 2020-03-26
22
wangeai/K3Flight

Führen Sie Kimi K3 lokal auf der CPU mit ca. 55 GB gemessenem Laufzeit-RAM aus. Ein Einzeldatei-Linux-Inferenzserver, betrieben von cPilot Runtime.

wangeai
⭐ 1,019 HTML 👤 wangeai Organization 🕐 Aktualisiert 2026-07-31 📅 Erstellt 2026-07-30
23
jjang-ai/mlxstudio

MLX Studio – Die einfachste Möglichkeit, LLMs auf deinem Mac auszuführen. Eine All-in-One-Engine.

jjang-ai
⭐ 992 👤 jjang-ai User 🕐 Aktualisiert 2026-11-07 📅 Erstellt 2026-03-05
24
zhihu/ZhiLight

Eine hochoptimierte LLM-Inferenzbeschleunigungs-Engine für Llama und seine Varianten.

zhihu
⭐ 906 C++ 👤 zhihu Organization 🕐 Aktualisiert 2026-03-18 📅 Erstellt 2024-12-06
25
insight-platform/Savant

Python Computer Vision & Video Analytics Framework mit Batterien im Lieferumfang enthalten

insight-platform
⭐ 868 Python 👤 insight-platform Organization 🕐 Aktualisiert 2026-09-23 📅 Erstellt 2022-05-07
26
mit-han-lab/omniserve

[MLSys'25] QServe: W4A8KV4 Quantisierung und System-Co-Design für effizientes LLM-Serving; [MLSys'25] LServe: Effizientes LLM-Serving für lange Sequenzen mit vereinheitlichter spärlicher Aufmerksamkeit

mit-han-lab
⭐ 840 C++ 👤 mit-han-lab Organization 🕐 Aktualisiert 2025-03-06 📅 Erstellt 2024-05-06
27
pegainfer-project/pegainfer

Reine Rust + CUDA LLM-Inferenz-Engine — kein PyTorch, OpenAI-kompatibel, bedient Qwen3 bis Kimi-K2

pegainfer-project
⭐ 748 Rust 👤 pegainfer-project Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2026-02-17
28
ARahim3/mlx-dspark

Bis zu 4× schnelleres LLM-Decoding auf Apple Silicon, verlustfrei. Native MLX-Portierung des spekulativen Decodings DSpark von DeepSeek und DFlash von z-lab — Gemma-4, Qwen3.8, Muse-Glimmer, Nemotron, LFM2.5, Ornith-1.0 und ternäres Bonsai-27B.

ARahim3
⭐ 743 Python 👤 ARahim3 User 🕐 Aktualisiert 2026-11-08 📅 Erstellt 2026-06-29
29
prabanta-dev/janas

37 tok/s mit Qwen3-Next-80B (48 GB) auf einem 32-GB-Laptop; 24 ohne Drafts gegenüber 2,8 mit llama.cpp; beim Lesen 62 gegenüber 16 tok/s. Schneller als llama.cpp bei allen 13 Modellen, die in Q4_K_M verglichen wurden. LLMs, die größer sind als dein RAM – pures C, für CPU oder GPU.

prabanta-dev
⭐ 738 C 👤 prabanta-dev Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2026-09-20
30
zhongkaifu/TensorSharp

Eine native .NET-Inferenz-Engine für große Sprachmodelle (LLMs) und eine Agenten-Laufzeitumgebung für GGUF-Modelle. TensorSharp bietet eine Konsolenanwendung, eine webbasierte Chatbot-Oberfläche, eine iPhone-App sowie mit Ollama/OpenAI kompatible HTTP-APIs für den programmgesteuerten Zugriff. Es unterstützt Windows, macOS, iOS und Linux mit vollständiger GPU-Unterstützung.

zhongkaifu
⭐ 681 C# 👤 zhongkaifu User 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2026-04-03
31
carloslfu/slotstream

Führen Sie ein 105-GB-KI-Modell auf einem Mac aus, auf dem es nicht vollständig Platz findet. Qwen3.8-Flash-Next in 4-Bit, gestreamt von einer SSD auf Apple-Silicon-Macs mit 16–64 GB Arbeitsspeicher. Vollständig nativ mit Swift, MLX und Metal. Offline, ohne Python. CLI, Swift-Bibliothek sowie Ollama-/OpenAI-/Anthropic-APIs. Funktioniert mit Claude Code und Codex.

carloslfu
⭐ 674 Swift 👤 carloslfu User 🕐 Aktualisiert 2026-11-17 📅 Erstellt 2026-08-28
32
andrewkchan/yalm

Ein weiteres Sprachmodell: LLM-Inferenz in C++/CUDA, keine Bibliotheken außer I/O

andrewkchan
⭐ 597 C++ 👤 andrewkchan User 🕐 Aktualisiert 2025-09-13 📅 Erstellt 2024-10-02
33
pylint-dev/astroid

Eine gemeinsame Basisdarstellung von Python-Quellcode für Pylint und andere Projekte

pylint-dev
⭐ 589 Python 👤 pylint-dev Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2015-12-08
34
zjhellofss/KuiperLLama

Schulrekrutierung, Herbstrekrutierung, Frühlingsrekrutierung, tolle Praktika-Projekte, führen Sie von Null an bei der Umsetzung eines Large-Model-Inferenz-Frameworks, das Llama2/3 und Qwen2.5 unterstützt.

zjhellofss
⭐ 581 C++ 👤 zjhellofss User 🕐 Aktualisiert 2025-10-28 📅 Erstellt 2024-04-25
35
StartLuxLabs/StartLux-Prism

Schnelle, exakte Inferenz für StartLux-Decision-Modelle auf NVIDIA-GPUs: Die veröffentlichten GGUF-Dateien laufen über die /v1/systemone-API auf int8- und 4-Bit-Tensor-Kernen und bieten in FP8 eine bis zu 5,3-mal geringere Latenz als vLLM bei bitidentischen Antworten.

StartLuxLabs
⭐ 560 Python 👤 StartLuxLabs Organization 🕐 Aktualisiert 2026-10-27 📅 Erstellt 2026-10-13
36
zengxiao-he/tessera

Vom Lehrer zu Kacheln — eine von Grund auf neu entwickelte LLM-Destillations- und Serving-Engine: benutzerdefinierte Triton/CUDA-Kernel, FSDP-Destillation, kontinuierliches Batching mit paged-KV, spekulative Dekodierung, ein Rust-Gateway, ein JAX-Orakel und Interpretierbarkeitswerkzeuge.

zengxiao-he
⭐ 556 Python 👤 zengxiao-he User 🕐 Aktualisiert 2026-10-09 📅 Erstellt 2026-06-05
37
SearchSavior/OpenArc

Inferenz-Engine für Intel-Geräte. Bereitstellung von LLM-, VLM-, Whisper-, Kokoro-TTS-, Embedding- und Rerank-Modellen über OpenAI-Endpunkte.

SearchSavior
⭐ 551 Python 👤 SearchSavior User 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2025-02-11
38
OmniJev/Flide

🔥🔥 Die extrem schnelle Inferenz-Engine für Entscheidungsmodelle

OmniJev
⭐ 550 Python 👤 OmniJev Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2026-10-24
39
Generated-Computers/Locals

Führen Sie mehrere KI-Agenten gleichzeitig auf Ihrem Mac aus – bis zu 3-mal schneller.

Generated-Computers
⭐ 538 Python 👤 Generated-Computers Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2026-10-12
40
brontoguana/krasis

Krasis ist eine hybride LLM-Laufzeitumgebung, die sich auf die effiziente Ausführung größerer Modelle auf Consumer-Hardware mit begrenztem VRAM konzentriert

brontoguana
⭐ 530 C++ 👤 brontoguana User 🕐 Aktualisiert 2026-11-12 📅 Erstellt 2026-02-09

Häufig gestellte Fragen

1

Welches ist das beliebteste #inference-engine-Repository auf GitHub?

Das am höchsten eingestufte Open-Source-#inference-engine-Projekt auf GitHub ist huggingface/candle mit 21,367 Sternen. Minimalistisches ML-Framework für Rust

2

Welche Programmiersprachen werden in #inference-engine-Repositories am häufigsten verwendet?

Unter den am höchsten eingestuften #inference-engine-Projekten auf GitHub sind Python, C++, Rust, Go die am häufigsten verwendeten Programmiersprachen.

3

Wie wird das Ranking der #inference-engine-Repositories berechnet?

Wir verfolgen 40 aktive Open-Source-Repositories, die mit #inference-engine getaggt sind (500+ Sterne), mit insgesamt 102,063 Sternen und durchschnittlich 2,551 Sternen pro Repository. Die Rankings werden täglich über die GitHub-API aktualisiert.