Git Stars Git Stars

#cpu-inference Repository

Scopri 17 repository GitHub open source attivi contrassegnati con #cpu-inference, che raccolgono un totale di 84,398 stelle (con una media di 4,964 stelle per progetto). Il progetto leader di questo argomento è microsoft/BitNet, con 42,358 stelle.

17
Totale Repository
84,398
Totale stelle
4,964
Media Stelle/Repo
Linguaggi di programmazione: Python C++ C HTML Rust

17 repository in totale

1
microsoft/BitNet

Framework di inferenza ufficiale per LLM a 1 bit

microsoft
⭐ 42,358 C++ 👤 microsoft Organization 🕐 Aggiornato 2026-07-27 📅 Creato 2024-08-05
2
FareedKhan-dev/kimi-k3-in-c

Un modello Kimi K3 da 2,78 trilioni di parametri che esegue l'inferenza su una singola CPU con 8,24 GB di RAM. C99 portatile: niente BLAS, niente framework, niente GPU.

FareedKhan-dev
⭐ 12,523 C 👤 FareedKhan-dev User 🕐 Aggiornato 2026-11-16 📅 Creato 2026-08-01
3
google/gemma.cpp

motore di inferenza C++ leggero e autonomo per i modelli Gemma di Google.

google
⭐ 7,089 C++ 👤 google Organization 🕐 Aggiornato 2026-11-20 📅 Creato 2024-02-13
4
xxnuo/MTranServer

Server di modelli di traduzione offline con basso consumo di risorse, velocità elevata e capacità di distribuzione privata. 低资源占用速度快可私有部署的离线翻译模型服务器

xxnuo
⭐ 4,758 C++ 👤 xxnuo User 🕐 Aggiornato 2026-11-18 📅 Creato 2025-02-06
5
OpenMOSS/MOSS-TTS-Nano

Un modello TTS multilingue da 100 milioni di parametri per l’inferenza in tempo reale su CPU, la clonazione della voce e la generazione stereo a 48 kHz

OpenMOSS
⭐ 4,711 Python 👤 OpenMOSS Organization 🕐 Aggiornato 2026-09-06 📅 Creato 2026-04-10
6
fastino-ai/GLiNER2

Estrazione di Informazioni basata su Schema Unificato

fastino-ai
⭐ 2,490 Python 👤 fastino-ai Organization 🕐 Aggiornato 2026-11-20 📅 Creato 2025-07-07
8
dleemiller/WordLlama

Cose che puoi fare con gli embedding dei token di un LLM

dleemiller
⭐ 1,448 Python 👤 dleemiller User 🕐 Aggiornato 2025-12-01 📅 Creato 2024-06-12
9
synchopate/llama-modchip

Inferenza su CPU senza GPU per modelli MoE da 30B a 284B (Qwen3.8 176.5B certificato con cache fredda in Cgroup v2 a 28,26/48,35 GiB, DeepSeek-V4 284B, Nemotron-30B) + RouteCrack 2.0.

synchopate
⭐ 1,398 Python 👤 synchopate User 🕐 Aggiornato 2026-11-21 📅 Creato 2026-10-29
10
wangeai/K3Flight

Esegui Kimi K3 localmente su CPU con circa 55 GB di RAM di runtime misurata. Un server di inferenza Linux a file singolo basato su cPilot Runtime.

wangeai
⭐ 1,019 HTML 👤 wangeai Organization 🕐 Aggiornato 2026-07-31 📅 Creato 2026-07-30
11
feder-cr/jev

jevos: un'alternativa open source a Jev e Microsoft-Decision-1. Decisioni sì/no, scelte e punteggi con probabilità, eseguiti sulla CPU del tuo laptop.

feder-cr
⭐ 970 C++ 👤 feder-cr User 🕐 Aggiornato 2026-10-18 📅 Creato 2024-08-15
12
Phocinae/Phocinae-Largha-150M-v1

Foca maculata — Phocinae-Largha-150M-v1: un modello bilingue per le decisioni da 144,3 M. Modello piccolo. Grandi decisioni. Piccola foca, grandi decisioni.

Phocinae
⭐ 797 Python 👤 Phocinae Organization 🕐 Aggiornato 2026-10-20 📅 Creato 2026-10-08
13
fluxions-ai/vui

Vui Nano — un piccolo modello di sintesi vocale consapevole del contesto, addestrato su conversazioni reali. 219 milioni di parametri attivi (305 milioni in totale), Apache 2.0, clonazione vocale e streaming; funziona su CPU (build in C priva di dipendenze). Include un assistente vocale completo in tempo reale: WebRTC, ASR, LLM locale e compatibilità con l’API Realtime di OpenAI.

fluxions-ai
⭐ 782 Python 👤 fluxions-ai Organization 🕐 Aggiornato 2026-10-10 📅 Creato 2025-06-05
14
prabanta-dev/janas

37 tok/s con Qwen3-Next-80B (48 GB) su un laptop da 32 GB; 24 senza draft contro 2,8 con llama.cpp; lettura a 62 contro 16 tok/s. Più veloce di llama.cpp in tutti i 13 modelli confrontati in Q4_K_M. LLM più grandi della tua RAM, in puro C, per CPU o GPU.

prabanta-dev
⭐ 738 C 👤 prabanta-dev Organization 🕐 Aggiornato 2026-11-20 📅 Creato 2026-09-20
15
ai25395/FMatPix

Uno strumento gratuito portatile OCR per formule che supporta latex e mathml

ai25395
⭐ 614 Python 👤 ai25395 User 🕐 Aggiornato 2025-04-21 📅 Creato 2024-10-20
16
lucienhuangfu/eLLM

eLLM: Eseguire l'inferenza a lungo termine più velocemente su CPU che su GPU

lucienhuangfu
⭐ 602 Rust 👤 lucienhuangfu User 🕐 Aggiornato 2026-11-12 📅 Creato 2025-06-30
17
brontoguana/krasis

Krasis è un runtime LLM ibrido che si concentra sull'esecuzione efficiente di modelli più grandi su hardware consumer con VRAM limitata

brontoguana
⭐ 530 C++ 👤 brontoguana User 🕐 Aggiornato 2026-11-12 📅 Creato 2026-02-09

Domande frequenti

1

Qual è il repository #cpu-inference più popolare su GitHub?

Il progetto open source #cpu-inference più alto in classifica su GitHub è microsoft/BitNet, con 42,358 stelle. Framework di inferenza ufficiale per LLM a 1 bit

2

Quali linguaggi di programmazione sono più utilizzati nei repository #cpu-inference?

Tra i progetti #cpu-inference più alti in classifica su GitHub, i linguaggi di programmazione più comuni sono Python, C++, C, HTML.

3

Come viene calcolata la classifica dei repository #cpu-inference?

Monitoriamo 17 repository open source attivi contrassegnati con #cpu-inference (500+ stelle), per un totale di 84,398 stelle e una media di 4,964 stelle per repository. Le classifiche vengono aggiornate quotidianamente tramite l’API di GitHub.