Git Stars Git Stars

#gguf Репозитории

Откройте для себя 49 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #gguf, с общим числом 165,186 звёзд (в среднем 3,371 на проект). Лидером этой темы является AlexsJones/llmfit, набравший 39,174 звёзд.

49
Всего репозиториев
165,186
Всего звезд
3,371
Среднее количество звезд на репозиторий
Языки программирования: Python C++ TypeScript Rust Go C Kotlin HTML

Всего репозиториев: 50

1
AlexsJones/llmfit

Сотни моделей и провайдеров. Одна команда, чтобы найти, что работает на вашем оборудовании.

AlexsJones
⭐ 39,174 Rust 👤 AlexsJones User 🕐 Обновлено 2026-11-18 📅 Создано 2026-02-15
2
mozilla-ai/llamafile

Распространяйте и запускайте LLM с помощью одного файла.

mozilla-ai
⭐ 26,681 C++ 👤 mozilla-ai Organization 🕐 Обновлено 2026-11-09 📅 Создано 2023-09-10
3
MakazhanAlpamys/Soup

Тонкая настройка LLM из одного YAML. Потоковая передача слоев обучает модель 8B на 4 ГБ ноутбучном GPU.

MakazhanAlpamys
⭐ 10,703 Python 👤 MakazhanAlpamys User 🕐 Обновлено 2026-11-21 📅 Создано 2026-02-20
4
karminski/one-small-step

Это простой проект технического科普-туториала, в основном посвященный объяснению интересных, передовых технических концепций и принципов. Каждая статья должна быть прочитана за 5 минут.

karminski
⭐ 7,006 Python 👤 karminski User 🕐 Обновлено 2026-03-08 📅 Создано 2025-01-16
5
qybaihe/bla

🛡️ BLA (bla-agents / Blind LLM Agents) — MCP-сервер и CLI с открытым исходным кодом для защиты Blue, оберегающие JS/TS, Electron ASAR, WASM, Python, нативные бинарные файлы, SQLite, GGUF/Safetensors и Android DEX от ИИ-агентов обратной разработки (REA).

qybaihe
⭐ 6,366 TypeScript 👤 qybaihe User 🕐 Обновлено 2026-11-21 📅 Создано 2026-10-25
6
Michael-A-Kuykendall/shimmy

⚡ WebGPU-движок для инференса на чистом Rust — совместим с OpenAI API, нативная поддержка GGUF, работает на любом GPU. Без Python. Без llama.cpp. Один бинарный файл.

Michael-A-Kuykendall
⭐ 6,020 Rust 👤 Michael-A-Kuykendall User 🕐 Обновлено 2026-11-12 📅 Создано 2025-08-28
7
ngxson/smolvlm-realtime-webcam

Демонстрация веб-камеры в реальном времени с SmolVLM и сервером llama.cpp

ngxson
⭐ 5,555 HTML 👤 ngxson User 🕐 Обновлено 2025-05-12 📅 Создано 2025-05-12
8
city96/ComfyUI-GGUF

Поддержка квантования GGUF для нативных моделей ComfyUI

city96
⭐ 4,284 Python 👤 city96 User 🕐 Обновлено 2026-01-12 📅 Создано 2024-08-15
9
AtomicBot-ai/atomic-agent

Atomic Agent — это ИИ-агент с приоритетом локального выполнения. Он запускает модели с открытыми весами на вашем компьютере с помощью llama.cpp.

AtomicBot-ai
⭐ 3,589 TypeScript 👤 AtomicBot-ai Organization 🕐 Обновлено 2026-11-21 📅 Создано 2026-04-21
10
off-grid-ai/OGAM

«Швейцарский армейский нож» для офлайн-ИИ. Общайтесь, распознавайте изображения, говорите и создавайте картинки на своем телефоне или Mac — поддержка GGUF LLM, зрения, преобразования речи в текст Whisper, Stable Diffusion, вызова инструментов и серверов локальной сети. Работает на вашем CPU, GPU или NPU. Никаких аккаунтов, никаких API-ключей, данные не покидают ваше устройство.

off-grid-ai
⭐ 3,406 TypeScript 👤 off-grid-ai Organization 🕐 Обновлено 2026-11-21 📅 Создано 2026-01-29
11
mw00/project-maya

Запускайте GLM-5.3 (744B), DeepSeek-V4.1-Flash (748B), MiniMax-M3.1-Flash (428B), GLM-5.3-Flash (321B) и Hy4-Flash (220B) на собственных GPU — от 8 ГБ видеопамяти, с поддержкой NVIDIA и AMD, единой панелью управления и API, совместимым с OpenAI и Anthropic.

mw00
⭐ 3,140 C++ 👤 mw00 User 🕐 Обновлено 2026-11-21 📅 Создано 2026-10-06
12
Mobile-Artificial-Intelligence/maid

Maid – это бесплатное и открытое приложение, позволяющее взаимодействовать с моделями llama.cpp локально, а также с моделями Anthropic, DeepSeek, Ollama, Mistral и OpenAI удаленно.

Mobile-Artificial-Intelligence
⭐ 2,785 TypeScript 👤 Mobile-Artificial-Intelligence Organization 🕐 Обновлено 2026-10-29 📅 Создано 2023-10-17
13
datawhalechina/handy-ollama

Практическое изучение Ollama: развертывание больших моделей на CPU, адрес для онлайн-чтения: https://datawhalechina.github.io/handy-ollama/

datawhalechina
⭐ 2,560 Jupyter Notebook 👤 datawhalechina Organization 🕐 Обновлено 2026-01-15 📅 Создано 2024-07-30
14
ddalcu/mlx-serve

Нативный сервер инференса LLM для Apple Silicon. Совместим с API OpenAI и Anthropic. Python не требуется. Приложение macOS с бэкендом на Zig и фронтендом на Swift, поддерживающее генерацию чатов, музыки, голоса и видео.

ddalcu
⭐ 2,528 Zig 👤 ddalcu User 🕐 Обновлено 2026-11-21 📅 Создано 2026-02-17
15
heshengtao/comfyui_LLM_party

Фреймворк LLM-агента в ComfyUI включает сервер MCP, Omost, GPT-sovits, ChatTTS, GOT-OCR2.0 и узлы приглашений FLUX, доступ к Feishu, Discord и адаптируется ко всем LLM с интерфейсами, подобными OpenAI/AISuite, таким как o1, ollama, gemini, grok, qwen, GLM, deepseek, kimi, doubao. Адаптировано к локальным LLM, VLM, GGUF, таким как llama-3.3 Janus-Pro, Linkage GraphRAG

heshengtao
⭐ 2,393 Python 👤 heshengtao User 🕐 Обновлено 2026-07-29 📅 Создано 2024-04-13
16
withcatai/node-llama-cpp

Запускайте модели ИИ локально на вашем компьютере с помощью привязок Node.js для llama.cpp. Применяйте JSON-схему к выводу модели на уровне генерации.

withcatai
⭐ 2,207 TypeScript 👤 withcatai Organization 🕐 Обновлено 2026-11-18 📅 Создано 2023-08-12
17
handy-computer/transcribe.cpp

Вывод ggml speech-to-text для более чем 16 семейств моделей

handy-computer
⭐ 2,194 C++ 👤 handy-computer Organization 🕐 Обновлено 2026-11-20 📅 Создано 2026-04-07
18
AtomicBot-ai/Atomic-Chat

Локальное приложение ИИ и движок логического вывода для агентов. Запускайте LLM с открытыми весами локально — конфиденциально, 100% офлайн на вашем компьютере. Присоединяйтесь к нашему Discord: https://discord.com/invite/8wGSsvmg4V

AtomicBot-ai
⭐ 2,040 TypeScript 👤 AtomicBot-ai Organization 🕐 Обновлено 2026-11-19 📅 Создано 2026-03-31
19
sammcj/gollama

Управляйте своими моделями Ollama

sammcj
⭐ 1,849 Go 👤 sammcj User 🕐 Обновлено 2026-10-21 📅 Создано 2024-05-30
20
StartLuxLabs/StartLux-Decision

Открытые модели для принятия решений от 0,8B до 27B: откалиброванная вероятность для каждого варианта за один проход и краткое рассуждение только при неуверенности. Движок для vLLM, llama.cpp и MLX.

StartLuxLabs
⭐ 1,780 Python 👤 StartLuxLabs Organization 🕐 Обновлено 2026-10-23 📅 Создано 2026-09-29
21
intel/auto-round

Эффективность на уровне посттренировочной квантования, точность на уровне квантования с учетом обучения

intel
⭐ 1,706 Python 👤 intel Organization 🕐 Обновлено 2026-11-21 📅 Создано 2024-01-04
22
nobodywho-ooo/nobodywho

NobodyWho — это механизм вывода, который позволяет вам локально и эффективно запускать LLM на любом устройстве.

nobodywho-ooo
⭐ 1,699 Rust 👤 nobodywho-ooo Organization 🕐 Обновлено 2026-11-19 📅 Создано 2024-09-03
23
LlamaEdge/LlamaEdge

Самый простой и быстрый способ запускать локально или на периферии индивидуализированные и точно настроенные LLM

LlamaEdge
⭐ 1,665 Rust 👤 LlamaEdge Organization 🕐 Обновлено 2026-02-08 📅 Создано 2023-10-09
24
QwenAudio/Fun-ASR

Модели распознавания речи Fun-ASR с нативной поддержкой Hugging Face Transformers для Fun-ASR-Nano и отдельными вариантами развёртывания для FunASR, vLLM и llama.cpp.

QwenAudio
⭐ 1,614 C 👤 QwenAudio Organization 🕐 Обновлено 2026-11-20 📅 Создано 2025-12-15
25
kitops-ml/kitops

Инструмент DevOps с открытым исходным кодом от CNCF для упаковки и управления версиями моделей ИИ/МО, наборов данных, кода и конфигураций в OCI Artifact.

kitops-ml
⭐ 1,451 Go 👤 kitops-ml Organization 🕐 Обновлено 2026-11-20 📅 Создано 2024-02-02
26
edwko/OuteTTS

Интерфейс для моделей OuteTTS.

edwko
⭐ 1,440 Python 👤 edwko User 🕐 Обновлено 2026-03-23 📅 Создано 2024-11-04
27
synchopate/llama-modchip

Инференс на CPU без GPU для MoE-моделей размером 30B–284B (Qwen3.8 176.5B сертифицирован в режиме холодного кэша в Cgroup v2 с объёмом 28,26/48,35 ГиБ, DeepSeek-V4 284B, Nemotron-30B) + RouteCrack 2.0.

synchopate
⭐ 1,398 Python 👤 synchopate User 🕐 Обновлено 2026-11-21 📅 Создано 2026-10-29
28
ciddwd/overlay-translator

Открытый инструмент для перевода экрана в реальном времени на Android без root, подходит для игр, визуальных новелл и манги. Поддерживает OCR на устройстве и в облаке, офлайн-LLM, несколько сервисов перевода, перевод на экране и озвучивание текста (TTS).

ciddwd
⭐ 1,369 Kotlin 👤 ciddwd User 🕐 Обновлено 2026-11-16 📅 Создано 2026-06-22
29
simplexai-labs/PolyStrata

Запускайте большие ИИ-модели на собственном ПК: Qwen3.8-Flash-Next на движке Strata, а GLM 5.3 Flash, DeepSeek V4 Flash, LFM2.5, Qwen3.6, Ornith 1.5, Gemma 4, Tiel Coder и MiniCPM-V — на втором движке, созданном для PolyStrata. Установка в один клик для Windows и Linux, API OpenAI/Anthropic на localhost.

simplexai-labs
⭐ 1,324 C++ 👤 simplexai-labs Organization 🕐 Обновлено 2026-11-18 📅 Создано 2026-10-06
30
wici-ai/inferssd

Запускайте модели, превышающие объём вашей RAM или VRAM, загружая экспертов MoE с SSD в потоковом режиме. Основано на llama.cpp.

wici-ai
⭐ 1,277 C++ 👤 wici-ai Organization 🕐 Обновлено 2026-11-20 📅 Создано 2026-10-22
31
Helldez/BigMoeOnEdge

Запускайте MoE-модели, превышающие объём вашей оперативной памяти. MoE передового уровня на телефоне, ноутбуке или edge-устройстве. Без потерь, на стандартном llama.cpp. Адаптивный потоковый оптимизатор. Любое оборудование, любая ОС, любая модель и квантование — через локальный сервер, совместимый с OpenAI.

Helldez
⭐ 1,066 C++ 👤 Helldez User 🕐 Обновлено 2026-11-21 📅 Создано 2026-07-10
32
jegly/Box

Самый передовой и полностью автономный клиентский ИИ-комплекс на Android на сегодняшний день.

jegly
⭐ 1,035 Kotlin 👤 jegly User 🕐 Обновлено 2026-11-21 📅 Создано 2026-04-17
33
sgaofen/humanizer-local-model

Переписывает черновики ИИ так, чтобы они звучали по-человечески. Работает локально и сохраняет факты

sgaofen
⭐ 1,010 Python 👤 sgaofen User 🕐 Обновлено 2026-10-19 📅 Создано 2026-09-11
34
feder-cr/jev

jevos: альтернатива Jev и Microsoft-Decision-1 с открытым исходным кодом. Решения «да/нет», выбор и оценка с вероятностями — на процессоре вашего ноутбука.

feder-cr
⭐ 970 C++ 👤 feder-cr User 🕐 Обновлено 2026-10-18 📅 Создано 2024-08-15
35
alvarobartt/hf-mem

CLI-инструмент для оценки требований к памяти инференса для моделей Hugging Face, написанный на Python.

alvarobartt
⭐ 956 Python 👤 alvarobartt User 🕐 Обновлено 2026-11-20 📅 Создано 2025-12-22
36
Valen-Team/Valen

Открытые мультимодальные модели принятия решений размером от 0,8B до 27B для работы с текстом, изображениями и видео. Оценивайте собственные варианты с помощью вероятностей и определяйте местоположение с помощью ограничивающих рамок вместо генерации текста. Бесплатный API, ONNX, GGUF, vLLM и SGLang; код для дообучения включён.

Valen-Team
⭐ 932 Python 👤 Valen-Team Organization 🕐 Обновлено 2026-11-15 📅 Создано 2026-09-23
37
eastriverlee/LLM.swift

LLM.swift — это простая и читаемая библиотека, которая позволяет легко взаимодействовать с большими языковыми моделями локально для macOS, iOS, watchOS, tvOS и visionOS.

eastriverlee
⭐ 883 Swift 👤 eastriverlee User 🕐 Обновлено 2026-07-19 📅 Создано 2023-12-02
38
mukel/llama3.java

Вывод Llama 3+ на чистом Java

mukel
⭐ 818 Java 👤 mukel User 🕐 Обновлено 2026-04-24 📅 Создано 2024-04-25
39
SimpleBerry/LLaMA-O1

Большие модели рассуждений

SimpleBerry
⭐ 806 Python 👤 SimpleBerry Organization 🕐 Обновлено 2024-12-03 📅 Создано 2024-10-10
40
prabanta-dev/janas

37 ток/с на Qwen3-Next-80B (48 ГБ) на ноутбуке с 32 ГБ памяти; 24 ток/с без черновой генерации против 2,8 у llama.cpp; скорость чтения — 62 против 16 ток/с. Быстрее llama.cpp на всех 13 моделях, сравнивавшихся в Q4_K_M. Запускайте LLM, превышающие объём вашей RAM, на чистом C — на CPU или GPU.

prabanta-dev
⭐ 738 C 👤 prabanta-dev Organization 🕐 Обновлено 2026-11-20 📅 Создано 2026-09-20
41
zhongkaifu/TensorSharp

Нативный .NET-движок инференса больших языковых моделей (LLM) и среда выполнения агентов для моделей GGUF. TensorSharp предоставляет консольное приложение, веб-интерфейс чат-бота, приложение для iPhone, а также совместимые с Ollama/OpenAI HTTP API для программного доступа. Поддерживаются Windows, macOS, iOS и Linux с полноценной поддержкой GPU.

zhongkaifu
⭐ 681 C# 👤 zhongkaifu User 🕐 Обновлено 2026-11-20 📅 Создано 2026-04-03
42
hybridgroup/yzma

Действуйте, опираясь на собственный интеллект: создавайте приложения на Go, напрямую интегрирующие llama.cpp для локального вывода с аппаратным ускорением в Linux, macOS, Windows и WebAssembly.

hybridgroup
⭐ 677 Go 👤 hybridgroup Organization 🕐 Обновлено 2026-11-19 📅 Создано 2025-09-21
43
gokayfem/ComfyUI_VLM_nodes

Узлы ComfyUI для моделей зрения-языка: Qwen3-VL, Moondream 3, Florence-2, SmolVLM2, InternVL, Gemma 3, MiniCPM-V. А также обнаружение с открытым словарем, сегментация SAM2/SAM3, временное видео-рассуждение, GGUF через llama.cpp и размещенные API LLM/VLM.

gokayfem
⭐ 592 Python 👤 gokayfem User 🕐 Обновлено 2026-08-08 📅 Создано 2024-01-24
44
kelindar/search

Библиотека Go для встроенного векторного поиска и семантических вложений, использующая llama.cpp

kelindar
⭐ 561 Go 👤 kelindar User 🕐 Обновлено 2026-09-19 📅 Создано 2024-09-29
45
StartLuxLabs/StartLux-Prism

Быстрый и точный вывод для моделей StartLux-Decision на GPU NVIDIA: опубликованные файлы GGUF работают на тензорных ядрах int8 и 4-битных ядрах через API /v1/systemone, обеспечивая в FP8 задержку до 5,3 раза ниже, чем у vLLM, при побитово идентичных ответах.

StartLuxLabs
⭐ 560 Python 👤 StartLuxLabs Organization 🕐 Обновлено 2026-10-27 📅 Создано 2026-10-13
46
Indras-Mirror/Xolotl

Xolotl: запускайте DeepSeek-V4.1-Flash со всеми 552B параметров как локального агента для программирования на одном игровом ПК (RTX 4090 + 110 ГБ ОЗУ): около 33 токенов/с в режиме агента, около 41 в быстром режиме, контекст 512K. Также доступны Inkling-2-Mini (Thinking Machines, собственный движок + модуль создания черновиков MTP), GLM-5.3-Flash, Qwen3.8 и LFM3-Omni. Эксперты MoE распределяются по уровням между VRAM, ОЗУ и NVMe (Xolotl Direct). API OpenAI + Anthropic.

Indras-Mirror
⭐ 549 C++ 👤 Indras-Mirror User 🕐 Обновлено 2026-11-21 📅 Создано 2026-10-06
47
dllm-labs/mojo-dllm

Локальный инференс для диффузионных языковых моделей (LLaDA, Dream), написанный на Mojo

dllm-labs
⭐ 546 Python 👤 dllm-labs Organization 🕐 Обновлено 2026-11-20 📅 Создано 2026-10-04
48
nyosegawa/speech.cpp

Синтез речи, распознавание речи и обнаружение речевой активности для голосового общения на C++ с использованием ggml: Qwen3-TTS, Irodori-TTS, Qwen3-ASR, ReazonSpeech, parakeet и Silero VAD для Metal, Vulkan и CPU, с сервером, совместимым с OpenAI, и транскрибацией в реальном времени.

nyosegawa
⭐ 510 C++ 👤 nyosegawa User 🕐 Обновлено 2026-11-20 📅 Создано 2026-09-29
49
AudarAI/Audar-ASR-V1

Генеративное распознавание речи с приоритетом арабского языка — Audar-ASR-V1 (Flash + Turbo). № 1 в рейтинге Open Universal Arabic ASR. Карточки моделей, бенчмарки и инференс.

AudarAI
⭐ 503 Python 👤 AudarAI Organization 🕐 Обновлено 2026-08-22 📅 Создано 2026-07-06
50
withcatai/catai

Запускайте ИИ-✨-ассистента локально! С простым API для Node.js 🚀

withcatai
⭐ 500 TypeScript 👤 withcatai Organization 🕐 Обновлено 2025-11-16 📅 Создано 2023-03-25

Часто задаваемые вопросы

1

Какой репозиторий по теме #gguf наиболее популярен на GitHub?

Самый высоко оценённый проект с открытым исходным кодом по теме #gguf на GitHub — AlexsJones/llmfit, набравший 39,174 звёзд. Сотни моделей и провайдеров. Одна команда, чтобы найти, что работает на вашем оборудовании.

2

Какие языки программирования чаще всего используются в репозиториях по теме #gguf?

Среди наиболее высоко оценённых проектов по теме #gguf на GitHub чаще всего используются языки программирования Python, C++, TypeScript, Rust.

3

Как рассчитывается рейтинг репозиториев по теме #gguf?

Мы отслеживаем 49 активных репозиториев с открытым исходным кодом, отмеченных тегом #gguf (500 и более звёзд), с общим числом 165,186 звёзд и в среднем 3,371 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.