#cpu-inference Repositories
Entdecke 17 aktive Open-Source-GitHub-Repositories, die mit #cpu-inference getaggt sind und insgesamt 84,398 Sterne gesammelt haben (durchschnittlich 4,964 Sterne pro Projekt). Spitzenreiter in diesem Themenbereich ist microsoft/BitNet mit 42,358 Sternen.
Insgesamt 17 Repositories
Ein Kimi K3-Modell mit 2,78 Billionen Parametern, das Inferenz auf einer einzelnen CPU mit 8,24 GB RAM ausführt. Portables C99: kein BLAS, kein Framework, keine GPU.
Offline-Übersetzungsmodellserver mit geringem Ressourcenverbrauch, hoher Geschwindigkeit und privater Bereitstellungsmöglichkeit. 低资源占用速度快可私有部署的离线翻译模型服务器
Ein mehrsprachiges TTS-Modell mit 100 Millionen Parametern für Echtzeit-Inferenz auf der CPU, Stimmenklonen und Stereoerzeugung mit 48 kHz
GPU-freie CPU-Inferenz für 30B–284B-MoE-Modelle (Qwen3.8 176.5B mit kaltem Cache in Cgroup v2 bei 28,26/48,35 GiB zertifiziert, DeepSeek-V4 284B, Nemotron-30B) + RouteCrack 2.0.
Führen Sie Kimi K3 lokal auf der CPU mit ca. 55 GB gemessenem Laufzeit-RAM aus. Ein Einzeldatei-Linux-Inferenzserver, betrieben von cPilot Runtime.
jevos: eine Open-Source-Alternative zu Jev und Microsoft-Decision-1. Ja/Nein-Entscheidungen, Auswahlmöglichkeiten und Bewertungen mit Wahrscheinlichkeiten – auf der CPU Ihres Laptops.
Gefleckter Seehund — Phocinae-Largha-150M-v1: ein zweisprachiges Entscheidungsmodell mit 144,3 Mio. Parametern. Kleines Modell. Große Entscheidungen. Kleine Robbe, große Entscheidungen.
Vui Nano – ein kleines, kontextbewusstes Text-to-Speech-Modell, das mit echten Gesprächen trainiert wurde. 219 Mio. aktive Parameter (305 Mio. insgesamt), Apache 2.0, Sprachklonung und Streaming; läuft auf der CPU (abhängigkeitsfreier C-Build). Enthält einen vollständigen Echtzeit-Sprachassistenten: WebRTC, ASR, lokales LLM und Kompatibilität mit der OpenAI Realtime API.
37 tok/s mit Qwen3-Next-80B (48 GB) auf einem 32-GB-Laptop; 24 ohne Drafts gegenüber 2,8 mit llama.cpp; beim Lesen 62 gegenüber 16 tok/s. Schneller als llama.cpp bei allen 13 Modellen, die in Q4_K_M verglichen wurden. LLMs, die größer sind als dein RAM – pures C, für CPU oder GPU.
Krasis ist eine hybride LLM-Laufzeitumgebung, die sich auf die effiziente Ausführung größerer Modelle auf Consumer-Hardware mit begrenztem VRAM konzentriert
Häufig gestellte Fragen
Welches ist das beliebteste #cpu-inference-Repository auf GitHub?
Das am höchsten eingestufte Open-Source-#cpu-inference-Projekt auf GitHub ist microsoft/BitNet mit 42,358 Sternen. Offizielles Inferenz-Framework für 1-Bit-LLMs
Welche Programmiersprachen werden in #cpu-inference-Repositories am häufigsten verwendet?
Unter den am höchsten eingestuften #cpu-inference-Projekten auf GitHub sind Python, C++, C, HTML die am häufigsten verwendeten Programmiersprachen.
Wie wird das Ranking der #cpu-inference-Repositories berechnet?
Wir verfolgen 17 aktive Open-Source-Repositories, die mit #cpu-inference getaggt sind (500+ Sterne), mit insgesamt 84,398 Sternen und durchschnittlich 4,964 Sternen pro Repository. Die Rankings werden täglich über die GitHub-API aktualisiert.