Git Stars Git Stars

#cpu-inference Repositories

Entdecke 17 aktive Open-Source-GitHub-Repositories, die mit #cpu-inference getaggt sind und insgesamt 84,398 Sterne gesammelt haben (durchschnittlich 4,964 Sterne pro Projekt). Spitzenreiter in diesem Themenbereich ist microsoft/BitNet mit 42,358 Sternen.

17
Gesamtzahl der Repositories
84,398
Gesamtanzahl der Sterne
4,964
Durchschnittliche Sterne/Repo

Insgesamt 17 Repositories

1
microsoft/BitNet

Offizielles Inferenz-Framework für 1-Bit-LLMs

microsoft
⭐ 42,358 C++ 👤 microsoft Organization 🕐 Aktualisiert 2026-07-27 📅 Erstellt 2024-08-05
2
FareedKhan-dev/kimi-k3-in-c

Ein Kimi K3-Modell mit 2,78 Billionen Parametern, das Inferenz auf einer einzelnen CPU mit 8,24 GB RAM ausführt. Portables C99: kein BLAS, kein Framework, keine GPU.

FareedKhan-dev
⭐ 12,523 C 👤 FareedKhan-dev User 🕐 Aktualisiert 2026-11-16 📅 Erstellt 2026-08-01
3
google/gemma.cpp

leichtgewichtige, eigenständige C++-Inferenz-Engine für Googles Gemma-Modelle.

google
⭐ 7,089 C++ 👤 google Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2024-02-13
4
xxnuo/MTranServer

Offline-Übersetzungsmodellserver mit geringem Ressourcenverbrauch, hoher Geschwindigkeit und privater Bereitstellungsmöglichkeit. 低资源占用速度快可私有部署的离线翻译模型服务器

xxnuo
⭐ 4,758 C++ 👤 xxnuo User 🕐 Aktualisiert 2026-11-18 📅 Erstellt 2025-02-06
5
OpenMOSS/MOSS-TTS-Nano

Ein mehrsprachiges TTS-Modell mit 100 Millionen Parametern für Echtzeit-Inferenz auf der CPU, Stimmenklonen und Stereoerzeugung mit 48 kHz

OpenMOSS
⭐ 4,711 Python 👤 OpenMOSS Organization 🕐 Aktualisiert 2026-09-06 📅 Erstellt 2026-04-10
6
fastino-ai/GLiNER2

Vereinheitlichte schemabasierte Informationsgewinnung

fastino-ai
⭐ 2,490 Python 👤 fastino-ai Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2025-07-07
8
dleemiller/WordLlama

Dinge, die Sie mit den Token-Embeddings eines LLM tun können

dleemiller
⭐ 1,448 Python 👤 dleemiller User 🕐 Aktualisiert 2025-12-01 📅 Erstellt 2024-06-12
9
synchopate/llama-modchip

GPU-freie CPU-Inferenz für 30B–284B-MoE-Modelle (Qwen3.8 176.5B mit kaltem Cache in Cgroup v2 bei 28,26/48,35 GiB zertifiziert, DeepSeek-V4 284B, Nemotron-30B) + RouteCrack 2.0.

synchopate
⭐ 1,398 Python 👤 synchopate User 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2026-10-29
10
wangeai/K3Flight

Führen Sie Kimi K3 lokal auf der CPU mit ca. 55 GB gemessenem Laufzeit-RAM aus. Ein Einzeldatei-Linux-Inferenzserver, betrieben von cPilot Runtime.

wangeai
⭐ 1,019 HTML 👤 wangeai Organization 🕐 Aktualisiert 2026-07-31 📅 Erstellt 2026-07-30
11
feder-cr/jev

jevos: eine Open-Source-Alternative zu Jev und Microsoft-Decision-1. Ja/Nein-Entscheidungen, Auswahlmöglichkeiten und Bewertungen mit Wahrscheinlichkeiten – auf der CPU Ihres Laptops.

feder-cr
⭐ 970 C++ 👤 feder-cr User 🕐 Aktualisiert 2026-10-18 📅 Erstellt 2024-08-15
12
Phocinae/Phocinae-Largha-150M-v1

Gefleckter Seehund — Phocinae-Largha-150M-v1: ein zweisprachiges Entscheidungsmodell mit 144,3 Mio. Parametern. Kleines Modell. Große Entscheidungen. Kleine Robbe, große Entscheidungen.

Phocinae
⭐ 797 Python 👤 Phocinae Organization 🕐 Aktualisiert 2026-10-20 📅 Erstellt 2026-10-08
13
fluxions-ai/vui

Vui Nano – ein kleines, kontextbewusstes Text-to-Speech-Modell, das mit echten Gesprächen trainiert wurde. 219 Mio. aktive Parameter (305 Mio. insgesamt), Apache 2.0, Sprachklonung und Streaming; läuft auf der CPU (abhängigkeitsfreier C-Build). Enthält einen vollständigen Echtzeit-Sprachassistenten: WebRTC, ASR, lokales LLM und Kompatibilität mit der OpenAI Realtime API.

fluxions-ai
⭐ 782 Python 👤 fluxions-ai Organization 🕐 Aktualisiert 2026-10-10 📅 Erstellt 2025-06-05
14
prabanta-dev/janas

37 tok/s mit Qwen3-Next-80B (48 GB) auf einem 32-GB-Laptop; 24 ohne Drafts gegenüber 2,8 mit llama.cpp; beim Lesen 62 gegenüber 16 tok/s. Schneller als llama.cpp bei allen 13 Modellen, die in Q4_K_M verglichen wurden. LLMs, die größer sind als dein RAM – pures C, für CPU oder GPU.

prabanta-dev
⭐ 738 C 👤 prabanta-dev Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2026-09-20
15
ai25395/FMatPix

Ein kostenloses tragbares Formel-OCR-Tool, das LaTeX und MathML unterstützt

ai25395
⭐ 614 Python 👤 ai25395 User 🕐 Aktualisiert 2025-04-21 📅 Erstellt 2024-10-20
16
lucienhuangfu/eLLM

eLLM: Long-Horizon-Inferenz auf CPUs schneller ausführen als auf GPUs

lucienhuangfu
⭐ 602 Rust 👤 lucienhuangfu User 🕐 Aktualisiert 2026-11-12 📅 Erstellt 2025-06-30
17
brontoguana/krasis

Krasis ist eine hybride LLM-Laufzeitumgebung, die sich auf die effiziente Ausführung größerer Modelle auf Consumer-Hardware mit begrenztem VRAM konzentriert

brontoguana
⭐ 530 C++ 👤 brontoguana User 🕐 Aktualisiert 2026-11-12 📅 Erstellt 2026-02-09

Häufig gestellte Fragen

1

Welches ist das beliebteste #cpu-inference-Repository auf GitHub?

Das am höchsten eingestufte Open-Source-#cpu-inference-Projekt auf GitHub ist microsoft/BitNet mit 42,358 Sternen. Offizielles Inferenz-Framework für 1-Bit-LLMs

2

Welche Programmiersprachen werden in #cpu-inference-Repositories am häufigsten verwendet?

Unter den am höchsten eingestuften #cpu-inference-Projekten auf GitHub sind Python, C++, C, HTML die am häufigsten verwendeten Programmiersprachen.

3

Wie wird das Ranking der #cpu-inference-Repositories berechnet?

Wir verfolgen 17 aktive Open-Source-Repositories, die mit #cpu-inference getaggt sind (500+ Sterne), mit insgesamt 84,398 Sternen und durchschnittlich 4,964 Sternen pro Repository. Die Rankings werden täglich über die GitHub-API aktualisiert.