#cpu-inference Repositórios
Descubra 17 repositórios ativos de código aberto no GitHub marcados com #cpu-inference, acumulando um total de 84,398 estrelas (uma média de 4,964 por projeto). O líder deste tópico é microsoft/BitNet, com 42,358 estrelas.
17 repositórios no total
Um modelo Kimi K3 de 2,78 trilhões de parâmetros executando inferência em uma única CPU com 8,24 GB de RAM. C99 portátil: sem BLAS, sem framework, sem GPU.
Servidor de modelo de tradução offline com baixo consumo de recursos, alta velocidade e capacidade de implantação privada. 低资源占用速度快可私有部署的离线翻译模型服务器
Um modelo TTS multilíngue com 100 milhões de parâmetros para inferência em tempo real na CPU, clonagem de voz e geração estéreo a 48 kHz
Inferência em CPU sem GPU para modelos MoE de 30B–284B (Qwen3.8 176.5B certificado com cache fria no Cgroup v2 com 28,26/48,35 GiB, DeepSeek-V4 284B, Nemotron-30B) + RouteCrack 2.0.
Execute o Kimi K3 localmente na CPU com cerca de 55 GB de RAM de tempo de execução medida. Um servidor de inferência Linux de arquivo único alimentado pelo cPilot Runtime.
jevos: uma alternativa de código aberto ao Jev e ao Microsoft-Decision-1. Decisões de sim ou não, escolhas e pontuações com probabilidades, na CPU do seu laptop.
Foca-malhada — Phocinae-Largha-150M-v1: um modelo bilíngue de tomada de decisões com 144,3 milhões de parâmetros. Modelo pequeno. Grandes decisões. Foca pequena, grandes decisões.
Vui Nano — um modelo pequeno de conversão de texto em fala, sensível ao contexto e treinado em conversas reais. 219 milhões de parâmetros ativos (305 milhões no total), Apache 2.0, clonagem de voz e streaming; funciona em CPU (build em C sem dependências). Inclui um assistente de voz completo em tempo real: WebRTC, ASR, LLM local e compatibilidade com a API Realtime da OpenAI.
37 tok/s com Qwen3-Next-80B (48 GB) num portátil com 32 GB; 24 sem rascunhos, contra 2,8 com llama.cpp; leitura a 62 contra 16 tok/s. Mais rápido que llama.cpp em todos os 13 modelos comparados em Q4_K_M. LLMs maiores do que a sua RAM, em C puro, para CPU ou GPU.
eLLM: Executar inferência de horizonte longo mais rápido em CPUs do que em GPUs
Krasis é um runtime de LLM híbrido que se concentra na execução eficiente de modelos maiores em hardware de consumo com VRAM limitada
Perguntas Frequentes
Qual é o repositório de #cpu-inference mais popular no GitHub?
O projeto de código aberto de #cpu-inference mais bem classificado no GitHub é microsoft/BitNet, com 42,358 estrelas. Estrutura de inferência oficial para LLMs de 1 bit
Quais linguagens de programação são mais usadas nos repositórios de #cpu-inference?
Entre os projetos de #cpu-inference mais bem classificados no GitHub, as linguagens de programação mais comuns são Python, C++, C, HTML.
Como é calculada a classificação dos repositórios de #cpu-inference?
Acompanhamos 17 repositórios ativos de código aberto marcados com #cpu-inference (com mais de 500 estrelas), totalizando 84,398 estrelas e uma média de 4,964 estrelas por repositório. As classificações são atualizadas diariamente a partir da API do GitHub.