#cpu-inference Репозитории
Откройте для себя 17 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #cpu-inference, с общим числом 84,398 звёзд (в среднем 4,964 на проект). Лидером этой темы является microsoft/BitNet, набравший 42,358 звёзд.
Всего репозиториев: 17
Модель Kimi K3 с 2,78 триллионами параметров, выполняющая логический вывод на одном процессоре с 8,24 ГБ оперативной памяти. Портативный C99: без BLAS, без фреймворков, без GPU.
Автономный сервер модели перевода с низким потреблением ресурсов, высокой скоростью и возможностью частного развертывания. 低资源占用速度快可私有部署的离线翻译模型服务器
Многоязычная TTS-модель со 100 миллионами параметров для вывода в реальном времени на CPU, клонирования голоса и генерации стереозвука с частотой 48 кГц
Инференс на CPU без GPU для MoE-моделей размером 30B–284B (Qwen3.8 176.5B сертифицирован в режиме холодного кэша в Cgroup v2 с объёмом 28,26/48,35 ГиБ, DeepSeek-V4 284B, Nemotron-30B) + RouteCrack 2.0.
Запустите Kimi K3 локально на процессоре с использованием около 55 ГБ оперативной памяти во время выполнения. Однофайловый сервер логического вывода для Linux на базе cPilot Runtime.
jevos: альтернатива Jev и Microsoft-Decision-1 с открытым исходным кодом. Решения «да/нет», выбор и оценка с вероятностями — на процессоре вашего ноутбука.
Пятнистый тюлень — Phocinae-Largha-150M-v1: двуязычная модель для принятия решений на 144,3 млн параметров. Маленькая модель. Большие решения. Маленький тюлень — большие решения.
Vui Nano — небольшая контекстно-зависимая модель преобразования текста в речь, обученная на реальных разговорах. 219 млн активных параметров (305 млн всего), лицензия Apache 2.0, клонирование голоса и потоковая передача; работает на CPU (сборка на C без зависимостей). В комплект входит полноценный голосовой ассистент реального времени: WebRTC, ASR, локальная LLM и совместимость с OpenAI Realtime API.
37 ток/с на Qwen3-Next-80B (48 ГБ) на ноутбуке с 32 ГБ памяти; 24 ток/с без черновой генерации против 2,8 у llama.cpp; скорость чтения — 62 против 16 ток/с. Быстрее llama.cpp на всех 13 моделях, сравнивавшихся в Q4_K_M. Запускайте LLM, превышающие объём вашей RAM, на чистом C — на CPU или GPU.
Krasis — это гибридная среда выполнения LLM, ориентированная на эффективный запуск больших моделей на потребительском оборудовании с ограниченным объемом видеопамяти
Часто задаваемые вопросы
Какой репозиторий по теме #cpu-inference наиболее популярен на GitHub?
Самый высоко оценённый проект с открытым исходным кодом по теме #cpu-inference на GitHub — microsoft/BitNet, набравший 42,358 звёзд. Официальная структура вывода для 1-битных LLM
Какие языки программирования чаще всего используются в репозиториях по теме #cpu-inference?
Среди наиболее высоко оценённых проектов по теме #cpu-inference на GitHub чаще всего используются языки программирования Python, C++, C, HTML.
Как рассчитывается рейтинг репозиториев по теме #cpu-inference?
Мы отслеживаем 17 активных репозиториев с открытым исходным кодом, отмеченных тегом #cpu-inference (500 и более звёзд), с общим числом 84,398 звёзд и в среднем 4,964 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.