#cpu-inference 저장소
#cpu-inference 태그가 지정된 GitHub의 활성 오픈 소스 저장소 17개를 확인해 보세요. 총 84,398개의 스타를 획득했으며 프로젝트당 평균 4,964개입니다. 이 주제를 이끄는 저장소는 42,358개의 스타를 받은 microsoft/BitNet입니다.
저장소 총 17개
2.78조 개의 파라미터를 가진 Kimi K3 모델이 8.24GB RAM의 단일 CPU에서 추론을 실행함. 포터블 C99: BLAS 없음, 프레임워크 없음, GPU 없음.
30B~284B MoE 모델을 위한 제로 GPU CPU 추론(Qwen3.8 176.5B는 28.26/48.35 GiB Cgroup v2 콜드 캐시 환경에서 인증 완료, DeepSeek-V4 284B, Nemotron-30B) + RouteCrack 2.0.
CPU에서 Kimi K3를 로컬로 실행하십시오(측정된 런타임 RAM 약 55GB). cPilot Runtime으로 구동되는 단일 파일 Linux 추론 서버입니다.
jevos: Jev 및 Microsoft-Decision-1의 오픈 소스 대안입니다. 노트북 CPU에서 확률을 포함한 예/아니요 판정, 선택 및 점수 산정을 수행합니다.
점박이물범 — Phocinae-Largha-150M-v1: 1억 4,430만 규모의 이중 언어 의사결정 모델. 작은 모델. 큰 결정. 작은 물범, 큰 결단.
Vui Nano — 실제 대화로 학습한 작고 문맥을 인식하는 텍스트 음성 변환 모델입니다. 활성 파라미터 2억 1,900만 개(전체 3억 500만 개), Apache 2.0, 음성 복제 및 스트리밍을 지원하며 CPU에서 실행됩니다(종속성 없는 C 빌드). 완전한 실시간 음성 어시스턴트가 함께 제공됩니다: WebRTC, ASR, 로컬 LLM, OpenAI Realtime API 호환.
32GB 노트북에서 Qwen3-Next-80B(48GB)를 37 tok/s로 실행합니다. 드래프트 없이도 24 tok/s로, llama.cpp의 2.8 tok/s보다 빠릅니다. 읽기 속도는 62 tok/s 대 16 tok/s입니다. Q4_K_M으로 비교한 13개 모델 모두에서 llama.cpp보다 빠릅니다. RAM보다 큰 LLM도 순수 C로 CPU 또는 GPU에서 실행하세요.
자주 묻는 질문
GitHub에서 가장 인기 있는 #cpu-inference 저장소는 무엇인가요?
GitHub에서 가장 높은 순위의 오픈 소스 #cpu-inference 프로젝트는 42,358개의 스타를 받은 microsoft/BitNet입니다. 1비트 LLM용 공식 추론 프레임워크
#cpu-inference 저장소에서 가장 많이 사용되는 프로그래밍 언어는 무엇인가요?
GitHub에서 순위가 가장 높은 #cpu-inference 프로젝트 중 가장 일반적으로 사용되는 프로그래밍 언어는 Python, C++, C, HTML입니다.
#cpu-inference 저장소 순위는 어떻게 계산되나요?
#cpu-inference 태그가 지정된 활성 오픈 소스 저장소(17개, 스타 500개 이상)를 추적하고 있습니다. 총 스타 수는 84,398개이며 저장소당 평균 4,964개입니다. 순위는 GitHub API를 통해 매일 업데이트됩니다.