#cpu-inference Repositorios
Descubre 17 repositorios activos de código abierto de GitHub etiquetados con #cpu-inference, que acumulan 84,398 estrellas en total (una media de 4,964 estrellas por proyecto). El líder de este tema es microsoft/BitNet, con 42,358 estrellas.
17 repositorios en total
Un modelo Kimi K3 de 2,78 billones de parámetros ejecutando inferencia en una sola CPU con 8,24 GB de RAM. C99 portátil: sin BLAS, sin framework, sin GPU.
Servidor de modelo de traducción sin conexión con bajo consumo de recursos, alta velocidad y capacidad de implementación privada. 低资源占用速度快可私有部署的离线翻译模型服务器
Un modelo TTS multilingüe de 100 millones de parámetros para inferencia en CPU en tiempo real, clonación de voz y generación estéreo a 48 kHz
Inferencia en CPU sin GPU para modelos MoE de 30B–284B (Qwen3.8 176.5B certificado con caché fría en Cgroup v2 de 28,26/48,35 GiB, DeepSeek-V4 284B, Nemotron-30B) + RouteCrack 2.0.
Ejecute Kimi K3 localmente en la CPU con ~55 GB de RAM de tiempo de ejecución medida. Un servidor de inferencia de Linux de un solo archivo impulsado por cPilot Runtime.
jevos: una alternativa de código abierto a Jev y Microsoft-Decision-1. Decisiones de sí o no, opciones y puntuaciones con probabilidades, en la CPU de tu portátil.
Foca moteada — Phocinae-Largha-150M-v1: un modelo bilingüe de toma de decisiones de 144,3 M. Modelo pequeño. Grandes decisiones. Foca pequeña, grandes decisiones.
Vui Nano — un pequeño modelo de texto a voz consciente del contexto, entrenado con conversaciones reales. 219 millones de parámetros activos (305 millones en total), Apache 2.0, clonación de voz y transmisión en tiempo real; funciona en CPU (compilación en C sin dependencias). Incluye un asistente de voz completo en tiempo real: WebRTC, ASR, LLM local y compatibilidad con la API Realtime de OpenAI.
37 tok/s con Qwen3-Next-80B (48 GB) en un portátil de 32 GB; 24 sin borradores, frente a 2,8 con llama.cpp; lectura a 62 frente a 16 tok/s. Más rápido que llama.cpp en los 13 modelos comparados en Q4_K_M. LLM más grandes que tu RAM, en C puro, para CPU o GPU.
Krasis es un entorno de ejecución de LLM híbrido que se centra en la ejecución eficiente de modelos más grandes en hardware de consumo con VRAM limitada
Preguntas frecuentes
¿Cuál es el repositorio de #cpu-inference más popular en GitHub?
El proyecto de código abierto de #cpu-inference mejor posicionado en GitHub es microsoft/BitNet, con 42,358 estrellas. Marco de inferencia oficial para LLM de 1 bit
¿Qué lenguajes de programación se utilizan más en los repositorios de #cpu-inference?
Entre los proyectos de #cpu-inference mejor posicionados en GitHub, los lenguajes de programación más comunes son Python, C++, C, HTML.
¿Cómo se calcula la clasificación de los repositorios de #cpu-inference?
Seguimos 17 repositorios activos de código abierto etiquetados con #cpu-inference (500+ estrellas), que suman un total de 84,398 estrellas, con una media de 4,964 estrellas por repositorio. Las clasificaciones se actualizan diariamente a partir de la API de GitHub.