#gguf 저장소
#gguf 태그가 지정된 GitHub의 활성 오픈 소스 저장소 49개를 확인해 보세요. 총 165,186개의 스타를 획득했으며 프로젝트당 평균 3,371개입니다. 이 주제를 이끄는 저장소는 39,174개의 스타를 받은 AlexsJones/llmfit입니다.
저장소 총 50개
이것은 흥미롭고 최첨단 기술 개념과 원리를 설명하는 데 초점을 맞춘 간단한 기술科普 튜토리얼 프로젝트입니다. 각 기사는 5분 안에 읽기를 완료하도록 노력합니다.
🛡️ BLA(bla-agents / Blind LLM Agents) — JS/TS, Electron ASAR, WASM, Python, 네이티브 바이너리, SQLite, GGUF/Safetensors 및 Android DEX를 AI 리버스 엔지니어링 에이전트(REA)로부터 보호하는 오픈 소스 Blue Defense MCP 서버 및 CLI.
⚡ 순수 Rust 기반 WebGPU 추론 엔진 — OpenAI API 호환, GGUF 네이티브 지원, 모든 GPU에서 실행 가능. Python 불필요. llama.cpp 불필요. 단일 바이너리.
Atomic Agent는 로컬 우선 AI 에이전트입니다. llama.cpp를 통해 자신의 컴퓨터에서 오픈 웨이트 모델을 실행합니다.
오프라인 AI의 '맥가이버 칼'. 휴대폰이나 Mac에서 채팅, 시각 인식, 음성 대화, 이미지 생성을 경험하세요. GGUF LLM, 비전, Whisper 음성 인식, Stable Diffusion, 도구 호출 및 로컬 네트워크 서버를 지원합니다. CPU, GPU 또는 NPU에서 실행되며, 계정이나 API 키가 필요 없고 데이터가 기기 외부로 유출되지 않습니다.
GLM-5.3(744B), DeepSeek-V4.1-Flash(748B), MiniMax-M3.1-Flash(428B), GLM-5.3-Flash(321B), Hy4-Flash(220B)를 자체 GPU에서 실행하세요. 8GB VRAM부터 지원하며, NVIDIA와 AMD를 모두 사용할 수 있고, 하나의 대시보드와 OpenAI 및 Anthropic 호환 API를 제공합니다.
Maid는 로컬에서 llama.cpp 모델과 상호작용하고 Anthropic, DeepSeek, Ollama, Mistral, OpenAI 모델과 원격으로 연결할 수 있는 무료 오픈 소스 애플리케이션입니다.
Ollama 실습하기, CPU로 대규모 모델 배포하기, 온라인 열람 주소: https://datawhalechina.github.io/handy-ollama/
Apple Silicon용 네이티브 LLM 추론 서버입니다. OpenAI 및 Anthropic API와 호환됩니다. Python이 필요 없습니다. Zig 백엔드와 Swift 프런트엔드로 구성된 macOS 앱으로, 채팅, 음악, 음성, 동영상 생성을 지원합니다.
ComfyUI의 LLM 에이전트 프레임워크는 MCP 서버, Omost, GPT-sovits, ChatTTS, GOT-OCR2.0 및 FLUX 프롬프트 노드를 포함하며, Feishu, discord에 액세스하고 o1, ollama, gemini, grok, qwen, GLM, deepseek, kimi, doubao와 같은 유사한 openai / aisuite 인터페이스를 가진 모든 LLM에 적응합니다. llama-3.3 Janus-Pro, Linkage GraphRAG와 같은 로컬 LLM, VLM, gguf에 적응되었습니다.
llama.cpp용 node.js 바인딩을 사용하여 로컬 컴퓨터에서 AI 모델을 실행합니다. 생성 수준에서 모델 출력에 JSON 스키마를 적용합니다.
에이전트를 위한 로컬 AI 앱 및 추론 엔진. 오픈 웨이트 LLM을 로컬에서 실행하세요 — 개인 정보 보호, 컴퓨터에서 100% 오프라인으로 작동합니다. Discord에 참여하세요: https://discord.com/invite/8wGSsvmg4V
0.8B~27B 규모의 오픈 의사결정 모델: 한 번의 실행으로 각 선택지의 보정된 확률을 제공하고, 확신이 없을 때만 짧은 추론을 제시합니다. vLLM, llama.cpp, MLX용 엔진.
Fun-ASR 음성 인식 모델로, Fun-ASR-Nano에 Hugging Face Transformers를 기본 지원하며 FunASR, vLLM 및 llama.cpp를 위한 별도의 배포 경로를 제공합니다.
30B~284B MoE 모델을 위한 제로 GPU CPU 추론(Qwen3.8 176.5B는 28.26/48.35 GiB Cgroup v2 콜드 캐시 환경에서 인증 완료, DeepSeek-V4 284B, Nemotron-30B) + RouteCrack 2.0.
루트 없는 오픈소스 Android 실시간 화면 번역 도구로, 게임, 비주얼 노벨, 만화에 적합합니다. 기기 내 및 클라우드 OCR, 오프라인 LLM, 다양한 번역 서비스, 화면 번역 표시, 텍스트 음성 변환(TTS)을 지원합니다.
대규모 AI 모델을 자신의 PC에서 실행하세요. Strata 엔진에서는 Qwen3.8-Flash-Next를, PolyStrata용으로 제작된 두 번째 엔진에서는 GLM 5.3 Flash, DeepSeek V4 Flash, LFM2.5, Qwen3.6, Ornith 1.5, Gemma 4, Tiel Coder, MiniCPM-V를 실행할 수 있습니다. Windows와 Linux에 원클릭으로 설치할 수 있으며, localhost에서 OpenAI/Anthropic API를 제공합니다.
RAM 용량보다 큰 MoE 모델을 실행하세요. 스마트폰, 노트북, 엣지 기기에서 최첨단 규모의 MoE를 만나보세요. 손실 없이, 기본 llama.cpp에서 실행됩니다. 적응형 스트리밍 최적화기. 모든 하드웨어, OS, 모델, 양자화를 지원하며 로컬 OpenAI 호환 서버를 통해 제공합니다.
jevos: Jev 및 Microsoft-Decision-1의 오픈 소스 대안입니다. 노트북 CPU에서 확률을 포함한 예/아니요 판정, 선택 및 점수 산정을 수행합니다.
텍스트, 이미지, 동영상을 지원하는 0.8B~27B 규모의 오픈 멀티모달 의사결정 모델입니다. 텍스트를 생성하는 대신 자체 후보에 확률을 부여해 판단하고, 바운딩 박스로 위치를 찾습니다. 무료 API, ONNX, GGUF, vLLM, SGLang을 지원하며 파인튜닝 코드도 포함되어 있습니다.
LLM.swift는 macOS, iOS, watchOS, tvOS 및 visionOS에서 대규모 언어 모델과 쉽게 상호 작용할 수 있게 해주는 간단하고 읽기 쉬운 라이브러리입니다.
32GB 노트북에서 Qwen3-Next-80B(48GB)를 37 tok/s로 실행합니다. 드래프트 없이도 24 tok/s로, llama.cpp의 2.8 tok/s보다 빠릅니다. 읽기 속도는 62 tok/s 대 16 tok/s입니다. Q4_K_M으로 비교한 13개 모델 모두에서 llama.cpp보다 빠릅니다. RAM보다 큰 LLM도 순수 C로 CPU 또는 GPU에서 실행하세요.
GGUF 모델을 위한 네이티브 .NET LLM 추론 엔진이자 에이전트 런타임입니다. TensorSharp는 콘솔 애플리케이션, 웹 기반 챗봇 인터페이스, iPhone 앱, 그리고 프로그래밍 방식으로 사용할 수 있는 Ollama/OpenAI 호환 HTTP API를 제공합니다. Windows, macOS, iOS 및 Linux를 지원하며 GPU 기능을 완벽하게 활용할 수 있습니다.
자신만의 지능으로 나아가세요. llama.cpp를 직접 통합하여 Linux, macOS, Windows 및 WebAssembly에서 하드웨어 가속을 활용한 로컬 추론을 수행하는 Go 애플리케이션을 작성하세요.
비전-언어 모델을 위한 ComfyUI 노드: Qwen3-VL, Moondream 3, Florence-2, SmolVLM2, InternVL, Gemma 3, MiniCPM-V. 또한 오픈 어휘 탐지, SAM2/SAM3 세그멘테이션, 비디오 시간적 추론, llama.cpp를 통한 GGUF, 그리고 호스팅된 LLM/VLM API를 지원합니다.
NVIDIA GPU에서 StartLux-Decision 모델을 빠르고 정확하게 추론하세요. 공개된 GGUF 파일은 /v1/systemone API를 통해 int8 및 4비트 텐서 코어에서 실행되며, FP8에서 vLLM보다 최대 5.3배 낮은 지연 시간을 제공하고 답변은 비트 단위로 동일합니다.
Xolotl: DeepSeek-V4.1-Flash의 552B 파라미터 전체를 단 한 대의 게이밍 PC(RTX 4090 + RAM 110GB)에서 로컬 코딩 에이전트로 실행합니다. 에이전트 모드에서는 약 33 tok/s, 고속 모드에서는 약 41 tok/s이며, 512K 컨텍스트를 지원합니다. 또한 Inkling-2-Mini(Thinking Machines, 자체 엔진 + MTP 초안 작성기), GLM-5.3-Flash, Qwen3.8, LFM3-Omni도 지원합니다. MoE 전문가를 VRAM, RAM, NVMe에 계층적으로 배치합니다(Xolotl Direct). OpenAI + Anthropic API.
ggml 기반 C++ 음성 대화를 위한 음성 합성, 음성 인식 및 음성 활동 감지: Metal, Vulkan 및 CPU에서 작동하는 Qwen3-TTS, Irodori-TTS, Qwen3-ASR, ReazonSpeech, parakeet 및 Silero VAD와 OpenAI 호환 서버 및 실시간 전사를 제공합니다.
아랍어 우선 생성형 음성 인식 — Audar-ASR-V1 (Flash + Turbo)。Open Universal Arabic ASR 리더보드 1위. 모델 카드, 벤치마크 및 추론.
자주 묻는 질문
GitHub에서 가장 인기 있는 #gguf 저장소는 무엇인가요?
GitHub에서 가장 높은 순위의 오픈 소스 #gguf 프로젝트는 39,174개의 스타를 받은 AlexsJones/llmfit입니다. 수백 개의 모델 및 제공자. 하드웨어에서 실행되는 것을 찾는 단 하나의 명령.
#gguf 저장소에서 가장 많이 사용되는 프로그래밍 언어는 무엇인가요?
GitHub에서 순위가 가장 높은 #gguf 프로젝트 중 가장 일반적으로 사용되는 프로그래밍 언어는 Python, C++, TypeScript, Rust입니다.
#gguf 저장소 순위는 어떻게 계산되나요?
#gguf 태그가 지정된 활성 오픈 소스 저장소(49개, 스타 500개 이상)를 추적하고 있습니다. 총 스타 수는 165,186개이며 저장소당 평균 3,371개입니다. 순위는 GitHub API를 통해 매일 업데이트됩니다.