Git Stars Git Stars

#cpu-inference 저장소

#cpu-inference 태그가 지정된 GitHub의 활성 오픈 소스 저장소 17개를 확인해 보세요. 총 84,398개의 스타를 획득했으며 프로젝트당 평균 4,964개입니다. 이 주제를 이끄는 저장소는 42,358개의 스타를 받은 microsoft/BitNet입니다.

17
총 리포지토리
84,398
총 별점
4,964
리포지토리당 평균 스타 수
프로그래밍 언어: Python C++ C HTML Rust

저장소 총 17개

1
microsoft/BitNet

1비트 LLM용 공식 추론 프레임워크

microsoft
⭐ 42,358 C++ 👤 microsoft Organization 🕐 업데이트됨 2026-07-27 📅 생성됨 2024-08-05
2
FareedKhan-dev/kimi-k3-in-c

2.78조 개의 파라미터를 가진 Kimi K3 모델이 8.24GB RAM의 단일 CPU에서 추론을 실행함. 포터블 C99: BLAS 없음, 프레임워크 없음, GPU 없음.

FareedKhan-dev
⭐ 12,523 C 👤 FareedKhan-dev User 🕐 업데이트됨 2026-11-16 📅 생성됨 2026-08-01
3
google/gemma.cpp

Google의 Gemma 모델을 위한 경량 독립형 C++ 추론 엔진입니다.

google
⭐ 7,089 C++ 👤 google Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2024-02-13
4
xxnuo/MTranServer

낮은 리소스 소비, 빠른 속도, 자체 구축 기능을 갖춘 오프라인 번역 모델 서버. 低资源占用速度快可私有部署的离线翻译模型服务器

xxnuo
⭐ 4,758 C++ 👤 xxnuo User 🕐 업데이트됨 2026-11-18 📅 생성됨 2025-02-06
5
OpenMOSS/MOSS-TTS-Nano

실시간 CPU 추론, 음성 복제 및 48kHz 스테레오 생성을 지원하는 1억 개 파라미터의 다국어 TTS 모델

OpenMOSS
⭐ 4,711 Python 👤 OpenMOSS Organization 🕐 업데이트됨 2026-09-06 📅 생성됨 2026-04-10
6
fastino-ai/GLiNER2

통합된 스키마 기반 정보 추출

fastino-ai
⭐ 2,490 Python 👤 fastino-ai Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2025-07-07
8
dleemiller/WordLlama

LLM의 토큰 임베딩으로 할 수 있는 작업

dleemiller
⭐ 1,448 Python 👤 dleemiller User 🕐 업데이트됨 2025-12-01 📅 생성됨 2024-06-12
9
synchopate/llama-modchip

30B~284B MoE 모델을 위한 제로 GPU CPU 추론(Qwen3.8 176.5B는 28.26/48.35 GiB Cgroup v2 콜드 캐시 환경에서 인증 완료, DeepSeek-V4 284B, Nemotron-30B) + RouteCrack 2.0.

synchopate
⭐ 1,398 Python 👤 synchopate User 🕐 업데이트됨 2026-11-21 📅 생성됨 2026-10-29
10
wangeai/K3Flight

CPU에서 Kimi K3를 로컬로 실행하십시오(측정된 런타임 RAM 약 55GB). cPilot Runtime으로 구동되는 단일 파일 Linux 추론 서버입니다.

wangeai
⭐ 1,019 HTML 👤 wangeai Organization 🕐 업데이트됨 2026-07-31 📅 생성됨 2026-07-30
11
feder-cr/jev

jevos: Jev 및 Microsoft-Decision-1의 오픈 소스 대안입니다. 노트북 CPU에서 확률을 포함한 예/아니요 판정, 선택 및 점수 산정을 수행합니다.

feder-cr
⭐ 970 C++ 👤 feder-cr User 🕐 업데이트됨 2026-10-18 📅 생성됨 2024-08-15
12
Phocinae/Phocinae-Largha-150M-v1

점박이물범 — Phocinae-Largha-150M-v1: 1억 4,430만 규모의 이중 언어 의사결정 모델. 작은 모델. 큰 결정. 작은 물범, 큰 결단.

Phocinae
⭐ 797 Python 👤 Phocinae Organization 🕐 업데이트됨 2026-10-20 📅 생성됨 2026-10-08
13
fluxions-ai/vui

Vui Nano — 실제 대화로 학습한 작고 문맥을 인식하는 텍스트 음성 변환 모델입니다. 활성 파라미터 2억 1,900만 개(전체 3억 500만 개), Apache 2.0, 음성 복제 및 스트리밍을 지원하며 CPU에서 실행됩니다(종속성 없는 C 빌드). 완전한 실시간 음성 어시스턴트가 함께 제공됩니다: WebRTC, ASR, 로컬 LLM, OpenAI Realtime API 호환.

fluxions-ai
⭐ 782 Python 👤 fluxions-ai Organization 🕐 업데이트됨 2026-10-10 📅 생성됨 2025-06-05
14
prabanta-dev/janas

32GB 노트북에서 Qwen3-Next-80B(48GB)를 37 tok/s로 실행합니다. 드래프트 없이도 24 tok/s로, llama.cpp의 2.8 tok/s보다 빠릅니다. 읽기 속도는 62 tok/s 대 16 tok/s입니다. Q4_K_M으로 비교한 13개 모델 모두에서 llama.cpp보다 빠릅니다. RAM보다 큰 LLM도 순수 C로 CPU 또는 GPU에서 실행하세요.

prabanta-dev
⭐ 738 C 👤 prabanta-dev Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2026-09-20
15
ai25395/FMatPix

LaTeX 및 MathML을 지원하는 무료 휴대용 Formula OCR 도구

ai25395
⭐ 614 Python 👤 ai25395 User 🕐 업데이트됨 2025-04-21 📅 생성됨 2024-10-20
16
lucienhuangfu/eLLM

eLLM: CPU에서 GPU보다 더 빠르게 장기 추론 실행하기

lucienhuangfu
⭐ 602 Rust 👤 lucienhuangfu User 🕐 업데이트됨 2026-11-12 📅 생성됨 2025-06-30
17
brontoguana/krasis

Krasis는 VRAM이 제한된 소비자용 하드웨어에서 대규모 모델을 효율적으로 실행하는 데 중점을 둔 하이브리드 LLM 런타임입니다

brontoguana
⭐ 530 C++ 👤 brontoguana User 🕐 업데이트됨 2026-11-12 📅 생성됨 2026-02-09

자주 묻는 질문

1

GitHub에서 가장 인기 있는 #cpu-inference 저장소는 무엇인가요?

GitHub에서 가장 높은 순위의 오픈 소스 #cpu-inference 프로젝트는 42,358개의 스타를 받은 microsoft/BitNet입니다. 1비트 LLM용 공식 추론 프레임워크

2

#cpu-inference 저장소에서 가장 많이 사용되는 프로그래밍 언어는 무엇인가요?

GitHub에서 순위가 가장 높은 #cpu-inference 프로젝트 중 가장 일반적으로 사용되는 프로그래밍 언어는 Python, C++, C, HTML입니다.

3

#cpu-inference 저장소 순위는 어떻게 계산되나요?

#cpu-inference 태그가 지정된 활성 오픈 소스 저장소(17개, 스타 500개 이상)를 추적하고 있습니다. 총 스타 수는 84,398개이며 저장소당 평균 4,964개입니다. 순위는 GitHub API를 통해 매일 업데이트됩니다.