Git Stars Git Stars

#gguf 저장소

#gguf 태그가 지정된 GitHub의 활성 오픈 소스 저장소 49개를 확인해 보세요. 총 165,186개의 스타를 획득했으며 프로젝트당 평균 3,371개입니다. 이 주제를 이끄는 저장소는 39,174개의 스타를 받은 AlexsJones/llmfit입니다.

49
총 리포지토리
165,186
총 별점
3,371
리포지토리당 평균 스타 수

저장소 총 50개

1
AlexsJones/llmfit

수백 개의 모델 및 제공자. 하드웨어에서 실행되는 것을 찾는 단 하나의 명령.

AlexsJones
⭐ 39,174 Rust 👤 AlexsJones User 🕐 업데이트됨 2026-11-18 📅 생성됨 2026-02-15
2
mozilla-ai/llamafile

단일 파일로 LLM을 배포하고 실행합니다.

mozilla-ai
⭐ 26,681 C++ 👤 mozilla-ai Organization 🕐 업데이트됨 2026-11-09 📅 생성됨 2023-09-10
3
MakazhanAlpamys/Soup

하나의 YAML에서 LLM을 미세 조정합니다. 레이어 스트리밍은 4GB 노트북 GPU에서 8B 모델을 훈련합니다.

MakazhanAlpamys
⭐ 10,703 Python 👤 MakazhanAlpamys User 🕐 업데이트됨 2026-11-21 📅 생성됨 2026-02-20
4
karminski/one-small-step

이것은 흥미롭고 최첨단 기술 개념과 원리를 설명하는 데 초점을 맞춘 간단한 기술科普 튜토리얼 프로젝트입니다. 각 기사는 5분 안에 읽기를 완료하도록 노력합니다.

karminski
⭐ 7,006 Python 👤 karminski User 🕐 업데이트됨 2026-03-08 📅 생성됨 2025-01-16
5
qybaihe/bla

🛡️ BLA(bla-agents / Blind LLM Agents) — JS/TS, Electron ASAR, WASM, Python, 네이티브 바이너리, SQLite, GGUF/Safetensors 및 Android DEX를 AI 리버스 엔지니어링 에이전트(REA)로부터 보호하는 오픈 소스 Blue Defense MCP 서버 및 CLI.

qybaihe
⭐ 6,366 TypeScript 👤 qybaihe User 🕐 업데이트됨 2026-11-21 📅 생성됨 2026-10-25
6
Michael-A-Kuykendall/shimmy

⚡ 순수 Rust 기반 WebGPU 추론 엔진 — OpenAI API 호환, GGUF 네이티브 지원, 모든 GPU에서 실행 가능. Python 불필요. llama.cpp 불필요. 단일 바이너리.

Michael-A-Kuykendall
⭐ 6,020 Rust 👤 Michael-A-Kuykendall User 🕐 업데이트됨 2026-11-12 📅 생성됨 2025-08-28
7
ngxson/smolvlm-realtime-webcam

SmolVLM 및 llama.cpp 서버를 사용한 실시간 웹캠 데모

ngxson
⭐ 5,555 HTML 👤 ngxson User 🕐 업데이트됨 2025-05-12 📅 생성됨 2025-05-12
8
city96/ComfyUI-GGUF

기본 ComfyUI 모델을 위한 GGUF 양자화 지원

city96
⭐ 4,284 Python 👤 city96 User 🕐 업데이트됨 2026-01-12 📅 생성됨 2024-08-15
9
AtomicBot-ai/atomic-agent

Atomic Agent는 로컬 우선 AI 에이전트입니다. llama.cpp를 통해 자신의 컴퓨터에서 오픈 웨이트 모델을 실행합니다.

AtomicBot-ai
⭐ 3,589 TypeScript 👤 AtomicBot-ai Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2026-04-21
10
off-grid-ai/OGAM

오프라인 AI의 '맥가이버 칼'. 휴대폰이나 Mac에서 채팅, 시각 인식, 음성 대화, 이미지 생성을 경험하세요. GGUF LLM, 비전, Whisper 음성 인식, Stable Diffusion, 도구 호출 및 로컬 네트워크 서버를 지원합니다. CPU, GPU 또는 NPU에서 실행되며, 계정이나 API 키가 필요 없고 데이터가 기기 외부로 유출되지 않습니다.

off-grid-ai
⭐ 3,406 TypeScript 👤 off-grid-ai Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2026-01-29
11
mw00/project-maya

GLM-5.3(744B), DeepSeek-V4.1-Flash(748B), MiniMax-M3.1-Flash(428B), GLM-5.3-Flash(321B), Hy4-Flash(220B)를 자체 GPU에서 실행하세요. 8GB VRAM부터 지원하며, NVIDIA와 AMD를 모두 사용할 수 있고, 하나의 대시보드와 OpenAI 및 Anthropic 호환 API를 제공합니다.

mw00
⭐ 3,140 C++ 👤 mw00 User 🕐 업데이트됨 2026-11-21 📅 생성됨 2026-10-06
12
Mobile-Artificial-Intelligence/maid

Maid는 로컬에서 llama.cpp 모델과 상호작용하고 Anthropic, DeepSeek, Ollama, Mistral, OpenAI 모델과 원격으로 연결할 수 있는 무료 오픈 소스 애플리케이션입니다.

Mobile-Artificial-Intelligence
⭐ 2,785 TypeScript 👤 Mobile-Artificial-Intelligence Organization 🕐 업데이트됨 2026-10-29 📅 생성됨 2023-10-17
13
datawhalechina/handy-ollama

Ollama 실습하기, CPU로 대규모 모델 배포하기, 온라인 열람 주소: https://datawhalechina.github.io/handy-ollama/

datawhalechina
⭐ 2,560 Jupyter Notebook 👤 datawhalechina Organization 🕐 업데이트됨 2026-01-15 📅 생성됨 2024-07-30
14
ddalcu/mlx-serve

Apple Silicon용 네이티브 LLM 추론 서버입니다. OpenAI 및 Anthropic API와 호환됩니다. Python이 필요 없습니다. Zig 백엔드와 Swift 프런트엔드로 구성된 macOS 앱으로, 채팅, 음악, 음성, 동영상 생성을 지원합니다.

ddalcu
⭐ 2,528 Zig 👤 ddalcu User 🕐 업데이트됨 2026-11-21 📅 생성됨 2026-02-17
15
heshengtao/comfyui_LLM_party

ComfyUI의 LLM 에이전트 프레임워크는 MCP 서버, Omost, GPT-sovits, ChatTTS, GOT-OCR2.0 및 FLUX 프롬프트 노드를 포함하며, Feishu, discord에 액세스하고 o1, ollama, gemini, grok, qwen, GLM, deepseek, kimi, doubao와 같은 유사한 openai / aisuite 인터페이스를 가진 모든 LLM에 적응합니다. llama-3.3 Janus-Pro, Linkage GraphRAG와 같은 로컬 LLM, VLM, gguf에 적응되었습니다.

heshengtao
⭐ 2,393 Python 👤 heshengtao User 🕐 업데이트됨 2026-07-29 📅 생성됨 2024-04-13
16
withcatai/node-llama-cpp

llama.cpp용 node.js 바인딩을 사용하여 로컬 컴퓨터에서 AI 모델을 실행합니다. 생성 수준에서 모델 출력에 JSON 스키마를 적용합니다.

withcatai
⭐ 2,207 TypeScript 👤 withcatai Organization 🕐 업데이트됨 2026-11-18 📅 생성됨 2023-08-12
17
handy-computer/transcribe.cpp

16개 이상의 모델 제품군을 위한 ggml 음성 인식 추론

handy-computer
⭐ 2,194 C++ 👤 handy-computer Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2026-04-07
18
AtomicBot-ai/Atomic-Chat

에이전트를 위한 로컬 AI 앱 및 추론 엔진. 오픈 웨이트 LLM을 로컬에서 실행하세요 — 개인 정보 보호, 컴퓨터에서 100% 오프라인으로 작동합니다. Discord에 참여하세요: https://discord.com/invite/8wGSsvmg4V

AtomicBot-ai
⭐ 2,040 TypeScript 👤 AtomicBot-ai Organization 🕐 업데이트됨 2026-11-19 📅 생성됨 2026-03-31
19
sammcj/gollama

Ollama 모델 관리하기

sammcj
⭐ 1,849 Go 👤 sammcj User 🕐 업데이트됨 2026-10-21 📅 생성됨 2024-05-30
20
StartLuxLabs/StartLux-Decision

0.8B~27B 규모의 오픈 의사결정 모델: 한 번의 실행으로 각 선택지의 보정된 확률을 제공하고, 확신이 없을 때만 짧은 추론을 제시합니다. vLLM, llama.cpp, MLX용 엔진.

StartLuxLabs
⭐ 1,780 Python 👤 StartLuxLabs Organization 🕐 업데이트됨 2026-10-23 📅 생성됨 2026-09-29
21
intel/auto-round

PTQ 수준의 효율성, QAT 수준의 정확도

intel
⭐ 1,706 Python 👤 intel Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2024-01-04
22
nobodywho-ooo/nobodywho

NobodyWho는 모든 장치에서 LLM을 로컬로 효율적으로 실행할 수 있게 해주는 추론 엔진입니다.

nobodywho-ooo
⭐ 1,699 Rust 👤 nobodywho-ooo Organization 🕐 업데이트됨 2026-11-19 📅 생성됨 2024-09-03
23
LlamaEdge/LlamaEdge

로컬 또는 엣지에서 맞춤형 및 미세 조정된 LLM을 실행하는 가장 쉽고 빠른 방법

LlamaEdge
⭐ 1,665 Rust 👤 LlamaEdge Organization 🕐 업데이트됨 2026-02-08 📅 생성됨 2023-10-09
24
QwenAudio/Fun-ASR

Fun-ASR 음성 인식 모델로, Fun-ASR-Nano에 Hugging Face Transformers를 기본 지원하며 FunASR, vLLM 및 llama.cpp를 위한 별도의 배포 경로를 제공합니다.

QwenAudio
⭐ 1,614 C 👤 QwenAudio Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2025-12-15
25
kitops-ml/kitops

OCI 아티팩트로 AI/ML 모델, 데이터 세트, 코드 및 구성을 패키징하고 버전 관리하기 위한 CNCF의 오픈 소스 DevOps 도구입니다.

kitops-ml
⭐ 1,451 Go 👤 kitops-ml Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2024-02-02
26
edwko/OuteTTS

OuteTTS 모델에 대한 인터페이스.

edwko
⭐ 1,440 Python 👤 edwko User 🕐 업데이트됨 2026-03-23 📅 생성됨 2024-11-04
27
synchopate/llama-modchip

30B~284B MoE 모델을 위한 제로 GPU CPU 추론(Qwen3.8 176.5B는 28.26/48.35 GiB Cgroup v2 콜드 캐시 환경에서 인증 완료, DeepSeek-V4 284B, Nemotron-30B) + RouteCrack 2.0.

synchopate
⭐ 1,398 Python 👤 synchopate User 🕐 업데이트됨 2026-11-21 📅 생성됨 2026-10-29
28
ciddwd/overlay-translator

루트 없는 오픈소스 Android 실시간 화면 번역 도구로, 게임, 비주얼 노벨, 만화에 적합합니다. 기기 내 및 클라우드 OCR, 오프라인 LLM, 다양한 번역 서비스, 화면 번역 표시, 텍스트 음성 변환(TTS)을 지원합니다.

ciddwd
⭐ 1,369 Kotlin 👤 ciddwd User 🕐 업데이트됨 2026-11-16 📅 생성됨 2026-06-22
29
simplexai-labs/PolyStrata

대규모 AI 모델을 자신의 PC에서 실행하세요. Strata 엔진에서는 Qwen3.8-Flash-Next를, PolyStrata용으로 제작된 두 번째 엔진에서는 GLM 5.3 Flash, DeepSeek V4 Flash, LFM2.5, Qwen3.6, Ornith 1.5, Gemma 4, Tiel Coder, MiniCPM-V를 실행할 수 있습니다. Windows와 Linux에 원클릭으로 설치할 수 있으며, localhost에서 OpenAI/Anthropic API를 제공합니다.

simplexai-labs
⭐ 1,324 C++ 👤 simplexai-labs Organization 🕐 업데이트됨 2026-11-18 📅 생성됨 2026-10-06
30
wici-ai/inferssd

SSD에서 MoE 전문가를 스트리밍하여 RAM 또는 VRAM 용량보다 큰 모델을 실행하세요. llama.cpp 기반으로 제작되었습니다.

wici-ai
⭐ 1,277 C++ 👤 wici-ai Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2026-10-22
31
Helldez/BigMoeOnEdge

RAM 용량보다 큰 MoE 모델을 실행하세요. 스마트폰, 노트북, 엣지 기기에서 최첨단 규모의 MoE를 만나보세요. 손실 없이, 기본 llama.cpp에서 실행됩니다. 적응형 스트리밍 최적화기. 모든 하드웨어, OS, 모델, 양자화를 지원하며 로컬 OpenAI 호환 서버를 통해 제공합니다.

Helldez
⭐ 1,066 C++ 👤 Helldez User 🕐 업데이트됨 2026-11-21 📅 생성됨 2026-07-10
32
jegly/Box

오늘날 안드로이드에서 가장 진보된 완전 오프라인 클라이언트 사이드 AI 제품군입니다.

jegly
⭐ 1,035 Kotlin 👤 jegly User 🕐 업데이트됨 2026-11-21 📅 생성됨 2026-04-17
33
sgaofen/humanizer-local-model

AI 초안을 사람이 쓴 것처럼 자연스럽게 다시 작성합니다. 로컬에서 실행되며 사실은 그대로 유지합니다

sgaofen
⭐ 1,010 Python 👤 sgaofen User 🕐 업데이트됨 2026-10-19 📅 생성됨 2026-09-11
34
feder-cr/jev

jevos: Jev 및 Microsoft-Decision-1의 오픈 소스 대안입니다. 노트북 CPU에서 확률을 포함한 예/아니요 판정, 선택 및 점수 산정을 수행합니다.

feder-cr
⭐ 970 C++ 👤 feder-cr User 🕐 업데이트됨 2026-10-18 📅 생성됨 2024-08-15
35
alvarobartt/hf-mem

Python으로 작성된, Hugging Face 모델의 추론 메모리 요구량을 추정하는 CLI입니다.

alvarobartt
⭐ 956 Python 👤 alvarobartt User 🕐 업데이트됨 2026-11-20 📅 생성됨 2025-12-22
36
Valen-Team/Valen

텍스트, 이미지, 동영상을 지원하는 0.8B~27B 규모의 오픈 멀티모달 의사결정 모델입니다. 텍스트를 생성하는 대신 자체 후보에 확률을 부여해 판단하고, 바운딩 박스로 위치를 찾습니다. 무료 API, ONNX, GGUF, vLLM, SGLang을 지원하며 파인튜닝 코드도 포함되어 있습니다.

Valen-Team
⭐ 932 Python 👤 Valen-Team Organization 🕐 업데이트됨 2026-11-15 📅 생성됨 2026-09-23
37
eastriverlee/LLM.swift

LLM.swift는 macOS, iOS, watchOS, tvOS 및 visionOS에서 대규모 언어 모델과 쉽게 상호 작용할 수 있게 해주는 간단하고 읽기 쉬운 라이브러리입니다.

eastriverlee
⭐ 883 Swift 👤 eastriverlee User 🕐 업데이트됨 2026-07-19 📅 생성됨 2023-12-02
38
mukel/llama3.java

순수 Java에서 Llama 3+ 추론

mukel
⭐ 818 Java 👤 mukel User 🕐 업데이트됨 2026-04-24 📅 생성됨 2024-04-25
39
SimpleBerry/LLaMA-O1

대형 추론 모델

SimpleBerry
⭐ 806 Python 👤 SimpleBerry Organization 🕐 업데이트됨 2024-12-03 📅 생성됨 2024-10-10
40
prabanta-dev/janas

32GB 노트북에서 Qwen3-Next-80B(48GB)를 37 tok/s로 실행합니다. 드래프트 없이도 24 tok/s로, llama.cpp의 2.8 tok/s보다 빠릅니다. 읽기 속도는 62 tok/s 대 16 tok/s입니다. Q4_K_M으로 비교한 13개 모델 모두에서 llama.cpp보다 빠릅니다. RAM보다 큰 LLM도 순수 C로 CPU 또는 GPU에서 실행하세요.

prabanta-dev
⭐ 738 C 👤 prabanta-dev Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2026-09-20
41
zhongkaifu/TensorSharp

GGUF 모델을 위한 네이티브 .NET LLM 추론 엔진이자 에이전트 런타임입니다. TensorSharp는 콘솔 애플리케이션, 웹 기반 챗봇 인터페이스, iPhone 앱, 그리고 프로그래밍 방식으로 사용할 수 있는 Ollama/OpenAI 호환 HTTP API를 제공합니다. Windows, macOS, iOS 및 Linux를 지원하며 GPU 기능을 완벽하게 활용할 수 있습니다.

zhongkaifu
⭐ 681 C# 👤 zhongkaifu User 🕐 업데이트됨 2026-11-20 📅 생성됨 2026-04-03
42
hybridgroup/yzma

자신만의 지능으로 나아가세요. llama.cpp를 직접 통합하여 Linux, macOS, Windows 및 WebAssembly에서 하드웨어 가속을 활용한 로컬 추론을 수행하는 Go 애플리케이션을 작성하세요.

hybridgroup
⭐ 677 Go 👤 hybridgroup Organization 🕐 업데이트됨 2026-11-19 📅 생성됨 2025-09-21
43
gokayfem/ComfyUI_VLM_nodes

비전-언어 모델을 위한 ComfyUI 노드: Qwen3-VL, Moondream 3, Florence-2, SmolVLM2, InternVL, Gemma 3, MiniCPM-V. 또한 오픈 어휘 탐지, SAM2/SAM3 세그멘테이션, 비디오 시간적 추론, llama.cpp를 통한 GGUF, 그리고 호스팅된 LLM/VLM API를 지원합니다.

gokayfem
⭐ 592 Python 👤 gokayfem User 🕐 업데이트됨 2026-08-08 📅 생성됨 2024-01-24
44
kelindar/search

llama.cpp를 사용하여 내장형 벡터 검색 및 의미론적 임베딩을 위한 Go 라이브러리

kelindar
⭐ 561 Go 👤 kelindar User 🕐 업데이트됨 2026-09-19 📅 생성됨 2024-09-29
45
StartLuxLabs/StartLux-Prism

NVIDIA GPU에서 StartLux-Decision 모델을 빠르고 정확하게 추론하세요. 공개된 GGUF 파일은 /v1/systemone API를 통해 int8 및 4비트 텐서 코어에서 실행되며, FP8에서 vLLM보다 최대 5.3배 낮은 지연 시간을 제공하고 답변은 비트 단위로 동일합니다.

StartLuxLabs
⭐ 560 Python 👤 StartLuxLabs Organization 🕐 업데이트됨 2026-10-27 📅 생성됨 2026-10-13
46
Indras-Mirror/Xolotl

Xolotl: DeepSeek-V4.1-Flash의 552B 파라미터 전체를 단 한 대의 게이밍 PC(RTX 4090 + RAM 110GB)에서 로컬 코딩 에이전트로 실행합니다. 에이전트 모드에서는 약 33 tok/s, 고속 모드에서는 약 41 tok/s이며, 512K 컨텍스트를 지원합니다. 또한 Inkling-2-Mini(Thinking Machines, 자체 엔진 + MTP 초안 작성기), GLM-5.3-Flash, Qwen3.8, LFM3-Omni도 지원합니다. MoE 전문가를 VRAM, RAM, NVMe에 계층적으로 배치합니다(Xolotl Direct). OpenAI + Anthropic API.

Indras-Mirror
⭐ 549 C++ 👤 Indras-Mirror User 🕐 업데이트됨 2026-11-21 📅 생성됨 2026-10-06
47
dllm-labs/mojo-dllm

Mojo로 작성된 확산 언어 모델(LLaDA, Dream)의 로컬 추론

dllm-labs
⭐ 546 Python 👤 dllm-labs Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2026-10-04
48
nyosegawa/speech.cpp

ggml 기반 C++ 음성 대화를 위한 음성 합성, 음성 인식 및 음성 활동 감지: Metal, Vulkan 및 CPU에서 작동하는 Qwen3-TTS, Irodori-TTS, Qwen3-ASR, ReazonSpeech, parakeet 및 Silero VAD와 OpenAI 호환 서버 및 실시간 전사를 제공합니다.

nyosegawa
⭐ 510 C++ 👤 nyosegawa User 🕐 업데이트됨 2026-11-20 📅 생성됨 2026-09-29
49
AudarAI/Audar-ASR-V1

아랍어 우선 생성형 음성 인식 — Audar-ASR-V1 (Flash + Turbo)。Open Universal Arabic ASR 리더보드 1위. 모델 카드, 벤치마크 및 추론.

AudarAI
⭐ 503 Python 👤 AudarAI Organization 🕐 업데이트됨 2026-08-22 📅 생성됨 2026-07-06
50
withcatai/catai

간단한 Node.js용 API로 AI ✨ 어시스턴트를 로컬에서 실행하세요! 🚀

withcatai
⭐ 500 TypeScript 👤 withcatai Organization 🕐 업데이트됨 2025-11-16 📅 생성됨 2023-03-25

자주 묻는 질문

1

GitHub에서 가장 인기 있는 #gguf 저장소는 무엇인가요?

GitHub에서 가장 높은 순위의 오픈 소스 #gguf 프로젝트는 39,174개의 스타를 받은 AlexsJones/llmfit입니다. 수백 개의 모델 및 제공자. 하드웨어에서 실행되는 것을 찾는 단 하나의 명령.

2

#gguf 저장소에서 가장 많이 사용되는 프로그래밍 언어는 무엇인가요?

GitHub에서 순위가 가장 높은 #gguf 프로젝트 중 가장 일반적으로 사용되는 프로그래밍 언어는 Python, C++, TypeScript, Rust입니다.

3

#gguf 저장소 순위는 어떻게 계산되나요?

#gguf 태그가 지정된 활성 오픈 소스 저장소(49개, 스타 500개 이상)를 추적하고 있습니다. 총 스타 수는 165,186개이며 저장소당 평균 3,371개입니다. 순위는 GitHub API를 통해 매일 업데이트됩니다.