#cpu-inference Dépôts
Découvrez 17 dépôts GitHub open source actifs associés à #cpu-inference, cumulant 84,398 étoiles au total (soit une moyenne de 4,964 étoiles par projet). Le projet en tête de ce thème est microsoft/BitNet, avec 42,358 étoiles.
17 dépôts au total
Un modèle Kimi K3 de 2 780 milliards de paramètres effectuant une inférence sur un seul CPU avec 8,24 Go de RAM. C99 portable : sans BLAS, sans framework, sans GPU.
Serveur de modèle de traduction hors ligne avec faible consommation de ressources, vitesse rapide et capacité de déploiement privé. 低资源占用速度快可私有部署的离线翻译模型服务器
Un modèle TTS multilingue de 100 millions de paramètres pour l’inférence en temps réel sur CPU, le clonage de voix et la génération stéréo à 48 kHz
Inférence sur CPU sans GPU pour les modèles MoE de 30B à 284B (Qwen3.8 176.5B certifié avec cache froide dans Cgroup v2 à 28,26/48,35 Gio, DeepSeek-V4 284B, Nemotron-30B) + RouteCrack 2.0.
Exécutez Kimi K3 localement sur CPU avec environ 55 Go de RAM d'exécution mesurée. Un serveur d'inférence Linux à fichier unique propulsé par cPilot Runtime.
jevos : une alternative open source à Jev et Microsoft-Decision-1. Des décisions par oui ou non, des choix et des scores avec des probabilités, sur le processeur de votre ordinateur portable.
Phoque tacheté — Phocinae-Largha-150M-v1 : un modèle bilingue de prise de décision de 144,3 M. Petit modèle. Grandes décisions. Petit phoque, grandes décisions.
Vui Nano — un petit modèle de synthèse vocale sensible au contexte, entraîné sur des conversations réelles. 219 millions de paramètres actifs (305 millions au total), sous licence Apache 2.0, clonage vocal et diffusion en continu ; fonctionne sur CPU (build C sans dépendances). Inclut un assistant vocal temps réel complet : WebRTC, ASR, LLM local et compatibilité avec l’API Realtime d’OpenAI.
37 tok/s avec Qwen3-Next-80B (48 Go) sur un ordinateur portable de 32 Go ; 24 sans spéculation, contre 2,8 avec llama.cpp ; lecture à 62 contre 16 tok/s. Plus rapide que llama.cpp sur les 13 modèles comparés en Q4_K_M. Des LLM plus grands que votre RAM, en C pur, sur CPU ou GPU.
Un outil OCR gratuit et portable pour les formules prenant en charge latex et mathml
eLLM : Exécuter l'inférence à long horizon plus rapidement sur CPU que sur GPU
Krasis est un runtime LLM hybride qui se concentre sur l'exécution efficace de modèles plus volumineux sur du matériel grand public à VRAM limitée
Foire aux questions
Quel est le dépôt #cpu-inference le plus populaire sur GitHub ?
Le projet #cpu-inference open source le mieux classé sur GitHub est microsoft/BitNet, avec 42,358 étoiles. Framework d'inférence officiel pour les LLM 1 bits
Quels langages de programmation sont les plus utilisés dans les dépôts #cpu-inference ?
Parmi les projets #cpu-inference les mieux classés sur GitHub, les langages de programmation les plus courants sont Python, C++, C, HTML.
Comment le classement des dépôts #cpu-inference est-il calculé ?
Nous suivons 17 dépôts open source actifs associés à #cpu-inference (500+ étoiles), totalisant 84,398 étoiles, avec une moyenne de 4,964 étoiles par dépôt. Les classements sont mis à jour quotidiennement à partir de l’API GitHub.