#cpu-inference リポジトリ
#cpu-inferenceのタグが付いた、GitHub上の17件のアクティブなオープンソースリポジトリをご覧ください。合計スター数は84,398個で、プロジェクトあたりの平均は4,964個です。このトピックをリードしているのは、42,358個のスターを獲得しているmicrosoft/BitNetです。
リポジトリ合計17件
2.78兆パラメータのKimi K3モデルが、8.24GBのRAMを搭載したシングルCPU上で推論を実行。ポータブルなC99実装:BLASなし、フレームワークなし、GPUなし。
30B~284BのMoEモデル向け、GPU不要のCPU推論(Qwen3.8 176.5Bは28.26/48.35 GiBのCgroup v2コールドキャッシュ環境で認証済み、DeepSeek-V4 284B、Nemotron-30B)+RouteCrack 2.0。
Kimi K3をCPU上でローカル実行します(測定実行時RAMは約55GB)。cPilot Runtimeを搭載したシングルファイルのLinux推論サーバーです。
jevos:JevおよびMicrosoft-Decision-1に代わるオープンソースの選択肢。ノートPCのCPU上で、確率付きのYes/No判定、選択、スコアリングを実行できます。
ゴマフアザラシ — Phocinae-Largha-150M-v1:1億4,430万規模のバイリンガル意思決定モデル。小さなモデル。大きな決断。小さなアザラシ、大きな決断。
Vui Nano — 実際の会話で学習した、小型で文脈認識に対応する音声合成モデル。アクティブパラメータは2億1,900万(合計3億500万)、Apache 2.0、音声クローンとストリーミングに対応し、CPU上で動作します(依存関係のないCビルド)。完全なリアルタイム音声アシスタントを同梱:WebRTC、ASR、ローカルLLM、OpenAI Realtime API互換。
32 GBのノートPCでQwen3-Next-80B(48 GB)を37 tok/sで実行。ドラフトなしでは24 tok/sで、llama.cppの2.8 tok/sを上回ります。読み込み速度は62 tok/s対16 tok/s。Q4_K_Mで比較した13モデルすべてでllama.cppより高速。RAM容量を超えるLLMを、純粋なCでCPUまたはGPU上で実行。
よくある質問
GitHubで最も人気のある#cpu-inferenceリポジトリは何ですか?
GitHubで最も上位にランクインしているオープンソースの#cpu-inferenceプロジェクトは、42,358個のスターを獲得しているmicrosoft/BitNetです。1ビットLLMの公式推論フレームワーク
#cpu-inferenceリポジトリで最もよく使われているプログラミング言語は何ですか?
GitHubで上位にランクインしている#cpu-inferenceプロジェクトでは、Python, C++, C, HTMLが最も一般的なプログラミング言語です。
#cpu-inferenceリポジトリのランキングはどのように算出されていますか?
#cpu-inferenceのタグが付いた17件のアクティブなオープンソースリポジトリ(スター500個以上)を追跡しています。合計スター数は84,398個で、リポジトリあたりの平均は4,964個です。ランキングはGitHub APIからのデータに基づいて毎日更新されます。