#inference-engine Repositories
Entdecke 40 aktive Open-Source-GitHub-Repositories, die mit #inference-engine getaggt sind und insgesamt 102,063 Sterne gesammelt haben (durchschnittlich 2,551 Sterne pro Projekt). Spitzenreiter in diesem Themenbereich ist huggingface/candle mit 21,367 Sternen.
Insgesamt 40 Repositories
✍🏻 Quellcode-Tiefenanalysen, Systemdesign und Engineering-Blogs | Halfrost-Field: Notizen zur Quellcode-Analyse, Systemdesign und Ingenieurspraxis
Ein Kimi K3-Modell mit 2,78 Billionen Parametern, das Inferenz auf einer einzelnen CPU mit 8,24 GB RAM ausführt. Portables C99: kein BLAS, kein Framework, keine GPU.
FEDML – Die einheitliche und skalierbare ML-Bibliothek für groß angelegtes verteiltes Training, Model Serving und Federated Learning. FEDML Launch, ein Cross-Cloud-Scheduler, ermöglicht ferner die Ausführung beliebiger KI-Jobs in jeder GPU-Cloud oder jedem On-Premise-Cluster. Auf dieser Bibliothek aufbauend, ist TensorOpera AI (https://TensorOpera.ai) Ihre generative KI-Plattform im großen Maßstab.
Gute Projekte für Hochschulabsolventen, Herbstkampagnen, Frühjahrskampagnen und Praktika! Begleitet Sie Schritt für Schritt bei der Implementierung einer Hochleistungs-Deep-Learning-Inferenzbibliothek, die das Schlussfolgern für große Modelle wie Llama2, Unet, YoloV5, Resnet usw. unterstützt. Implementieren Sie Schritt für Schritt eine Hochleistungs-Deep-Learning-Inferenzbibliothek.
xDiT: Eine skalierbare Inferenz-Engine für Diffusion Transformers (DiTs) mit massivem Parallelismus
Die schnellste Möglichkeit, Qwen 3.8 Flash Next, Qwen 3.8 27B und Ternary Bonsai 2 27B auf einem Mac auszuführen: 125 Token/s in OpenCode auf einem M5 Max und ein 27B-Modell auf Macs mit 16 GB. Native MTP-Spekulativdekodierung auf Apple Silicon, bei jeder Temperatur exakt. Lokaler Server mit OpenAI- und Anthropic-Kompatibilität.
Offizieller SGLang-x-Datawhale-Kurs zur LLM-Inferenz: Verstehe die Inferenz, entwickle ein Mini-SGLang von Grund auf, lies anschließend den echten SGLang-Quellcode und reiche deinen ersten PR ein. Auf Englisch und Chinesisch verfügbar.
Virtualisierter elastischer KV-Cache für dynamische GPU-Freigabe und darüber hinaus
OneDiff: Eine sofort einsatzbereite Beschleunigungsbibliothek für Diffusionsmodelle.
NobodyWho ist eine Inferenz-Engine, mit der Sie LLMs lokal und effizient auf jedem Gerät ausführen können.
Eine leistungsstarke Inferenz-Engine für LLM-, VLM- und DiT-Modelle, optimiert für verschiedene KI-Beschleuniger. Sie wird von der OpenAtom Foundation gehostet.
Lokale Inferenz mit dem Verhalten einer hochmodernen API: Qwen3.8-Flash-Next auf AMD Strix Halo sowie kleine NPU-Modelle – über die OpenAI- und Anthropic-APIs auf einem einzigen Port.
Führen Sie große KI-Modelle auf Ihrem eigenen PC aus: Qwen3.8-Flash-Next mit der Engine von Strata sowie GLM 5.3 Flash, DeepSeek V4 Flash, LFM2.5, Qwen3.6, Ornith 1.5, Gemma 4, Tiel Coder und MiniCPM-V mit einer zweiten Engine, die für PolyStrata entwickelt wurde. Ein-Klick-Installation für Windows und Linux, mit OpenAI-/Anthropic-API auf localhost.
Qualcomm® AI Hub Models ist unsere Sammlung hochmoderner Modelle des maschinellen Lernens, die für optimale Leistung (Latenz, Speicher usw.) optimiert und zur Bereitstellung auf Qualcomm®-Geräten bereit sind.
Offizielle Implementierung von Gamer: Ein generalistisches Vision-Language-Action-Basismodell für Echtzeit-Spielagenten mit langfristigem Planungshorizont
Paddle.js ist ein Webprojekt für Baidu PaddlePaddle, ein Open-Source-Deep-Learning-Framework, das im Browser läuft. Paddle.js kann entweder ein vortrainiertes Modell laden oder ein Modell von Paddle-Hub mit den von Paddle.js bereitgestellten Modellumwandlungswerkzeugen transformieren. Es kann in jedem Browser ausgeführt werden, der WebGL/WebGPU/WebAssembly unterstützt. Es kann auch in Baidu Smartprogram und WX miniprogram ausgeführt werden.
Führen Sie Kimi K3 lokal auf der CPU mit ca. 55 GB gemessenem Laufzeit-RAM aus. Ein Einzeldatei-Linux-Inferenzserver, betrieben von cPilot Runtime.
MLX Studio – Die einfachste Möglichkeit, LLMs auf deinem Mac auszuführen. Eine All-in-One-Engine.
Eine hochoptimierte LLM-Inferenzbeschleunigungs-Engine für Llama und seine Varianten.
Python Computer Vision & Video Analytics Framework mit Batterien im Lieferumfang enthalten
[MLSys'25] QServe: W4A8KV4 Quantisierung und System-Co-Design für effizientes LLM-Serving; [MLSys'25] LServe: Effizientes LLM-Serving für lange Sequenzen mit vereinheitlichter spärlicher Aufmerksamkeit
Reine Rust + CUDA LLM-Inferenz-Engine — kein PyTorch, OpenAI-kompatibel, bedient Qwen3 bis Kimi-K2
Bis zu 4× schnelleres LLM-Decoding auf Apple Silicon, verlustfrei. Native MLX-Portierung des spekulativen Decodings DSpark von DeepSeek und DFlash von z-lab — Gemma-4, Qwen3.8, Muse-Glimmer, Nemotron, LFM2.5, Ornith-1.0 und ternäres Bonsai-27B.
37 tok/s mit Qwen3-Next-80B (48 GB) auf einem 32-GB-Laptop; 24 ohne Drafts gegenüber 2,8 mit llama.cpp; beim Lesen 62 gegenüber 16 tok/s. Schneller als llama.cpp bei allen 13 Modellen, die in Q4_K_M verglichen wurden. LLMs, die größer sind als dein RAM – pures C, für CPU oder GPU.
Eine native .NET-Inferenz-Engine für große Sprachmodelle (LLMs) und eine Agenten-Laufzeitumgebung für GGUF-Modelle. TensorSharp bietet eine Konsolenanwendung, eine webbasierte Chatbot-Oberfläche, eine iPhone-App sowie mit Ollama/OpenAI kompatible HTTP-APIs für den programmgesteuerten Zugriff. Es unterstützt Windows, macOS, iOS und Linux mit vollständiger GPU-Unterstützung.
Führen Sie ein 105-GB-KI-Modell auf einem Mac aus, auf dem es nicht vollständig Platz findet. Qwen3.8-Flash-Next in 4-Bit, gestreamt von einer SSD auf Apple-Silicon-Macs mit 16–64 GB Arbeitsspeicher. Vollständig nativ mit Swift, MLX und Metal. Offline, ohne Python. CLI, Swift-Bibliothek sowie Ollama-/OpenAI-/Anthropic-APIs. Funktioniert mit Claude Code und Codex.
Ein weiteres Sprachmodell: LLM-Inferenz in C++/CUDA, keine Bibliotheken außer I/O
Eine gemeinsame Basisdarstellung von Python-Quellcode für Pylint und andere Projekte
Schulrekrutierung, Herbstrekrutierung, Frühlingsrekrutierung, tolle Praktika-Projekte, führen Sie von Null an bei der Umsetzung eines Large-Model-Inferenz-Frameworks, das Llama2/3 und Qwen2.5 unterstützt.
Schnelle, exakte Inferenz für StartLux-Decision-Modelle auf NVIDIA-GPUs: Die veröffentlichten GGUF-Dateien laufen über die /v1/systemone-API auf int8- und 4-Bit-Tensor-Kernen und bieten in FP8 eine bis zu 5,3-mal geringere Latenz als vLLM bei bitidentischen Antworten.
Vom Lehrer zu Kacheln — eine von Grund auf neu entwickelte LLM-Destillations- und Serving-Engine: benutzerdefinierte Triton/CUDA-Kernel, FSDP-Destillation, kontinuierliches Batching mit paged-KV, spekulative Dekodierung, ein Rust-Gateway, ein JAX-Orakel und Interpretierbarkeitswerkzeuge.
Inferenz-Engine für Intel-Geräte. Bereitstellung von LLM-, VLM-, Whisper-, Kokoro-TTS-, Embedding- und Rerank-Modellen über OpenAI-Endpunkte.
Führen Sie mehrere KI-Agenten gleichzeitig auf Ihrem Mac aus – bis zu 3-mal schneller.
Krasis ist eine hybride LLM-Laufzeitumgebung, die sich auf die effiziente Ausführung größerer Modelle auf Consumer-Hardware mit begrenztem VRAM konzentriert
Häufig gestellte Fragen
Welches ist das beliebteste #inference-engine-Repository auf GitHub?
Das am höchsten eingestufte Open-Source-#inference-engine-Projekt auf GitHub ist huggingface/candle mit 21,367 Sternen. Minimalistisches ML-Framework für Rust
Welche Programmiersprachen werden in #inference-engine-Repositories am häufigsten verwendet?
Unter den am höchsten eingestuften #inference-engine-Projekten auf GitHub sind Python, C++, Rust, Go die am häufigsten verwendeten Programmiersprachen.
Wie wird das Ranking der #inference-engine-Repositories berechnet?
Wir verfolgen 40 aktive Open-Source-Repositories, die mit #inference-engine getaggt sind (500+ Sterne), mit insgesamt 102,063 Sternen und durchschnittlich 2,551 Sternen pro Repository. Die Rankings werden täglich über die GitHub-API aktualisiert.