#cpu-inference Repository
Scopri 17 repository GitHub open source attivi contrassegnati con #cpu-inference, che raccolgono un totale di 84,398 stelle (con una media di 4,964 stelle per progetto). Il progetto leader di questo argomento è microsoft/BitNet, con 42,358 stelle.
17 repository in totale
Un modello Kimi K3 da 2,78 trilioni di parametri che esegue l'inferenza su una singola CPU con 8,24 GB di RAM. C99 portatile: niente BLAS, niente framework, niente GPU.
Server di modelli di traduzione offline con basso consumo di risorse, velocità elevata e capacità di distribuzione privata. 低资源占用速度快可私有部署的离线翻译模型服务器
Un modello TTS multilingue da 100 milioni di parametri per l’inferenza in tempo reale su CPU, la clonazione della voce e la generazione stereo a 48 kHz
Inferenza su CPU senza GPU per modelli MoE da 30B a 284B (Qwen3.8 176.5B certificato con cache fredda in Cgroup v2 a 28,26/48,35 GiB, DeepSeek-V4 284B, Nemotron-30B) + RouteCrack 2.0.
Esegui Kimi K3 localmente su CPU con circa 55 GB di RAM di runtime misurata. Un server di inferenza Linux a file singolo basato su cPilot Runtime.
jevos: un'alternativa open source a Jev e Microsoft-Decision-1. Decisioni sì/no, scelte e punteggi con probabilità, eseguiti sulla CPU del tuo laptop.
Foca maculata — Phocinae-Largha-150M-v1: un modello bilingue per le decisioni da 144,3 M. Modello piccolo. Grandi decisioni. Piccola foca, grandi decisioni.
Vui Nano — un piccolo modello di sintesi vocale consapevole del contesto, addestrato su conversazioni reali. 219 milioni di parametri attivi (305 milioni in totale), Apache 2.0, clonazione vocale e streaming; funziona su CPU (build in C priva di dipendenze). Include un assistente vocale completo in tempo reale: WebRTC, ASR, LLM locale e compatibilità con l’API Realtime di OpenAI.
37 tok/s con Qwen3-Next-80B (48 GB) su un laptop da 32 GB; 24 senza draft contro 2,8 con llama.cpp; lettura a 62 contro 16 tok/s. Più veloce di llama.cpp in tutti i 13 modelli confrontati in Q4_K_M. LLM più grandi della tua RAM, in puro C, per CPU o GPU.
Krasis è un runtime LLM ibrido che si concentra sull'esecuzione efficiente di modelli più grandi su hardware consumer con VRAM limitata
Domande frequenti
Qual è il repository #cpu-inference più popolare su GitHub?
Il progetto open source #cpu-inference più alto in classifica su GitHub è microsoft/BitNet, con 42,358 stelle. Framework di inferenza ufficiale per LLM a 1 bit
Quali linguaggi di programmazione sono più utilizzati nei repository #cpu-inference?
Tra i progetti #cpu-inference più alti in classifica su GitHub, i linguaggi di programmazione più comuni sono Python, C++, C, HTML.
Come viene calcolata la classifica dei repository #cpu-inference?
Monitoriamo 17 repository open source attivi contrassegnati con #cpu-inference (500+ stelle), per un totale di 84,398 stelle e una media di 4,964 stelle per repository. Le classifiche vengono aggiornate quotidianamente tramite l’API di GitHub.