#gguf Репозитории
Откройте для себя 49 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #gguf, с общим числом 165,186 звёзд (в среднем 3,371 на проект). Лидером этой темы является AlexsJones/llmfit, набравший 39,174 звёзд.
Всего репозиториев: 50
Сотни моделей и провайдеров. Одна команда, чтобы найти, что работает на вашем оборудовании.
Тонкая настройка LLM из одного YAML. Потоковая передача слоев обучает модель 8B на 4 ГБ ноутбучном GPU.
Это простой проект технического科普-туториала, в основном посвященный объяснению интересных, передовых технических концепций и принципов. Каждая статья должна быть прочитана за 5 минут.
🛡️ BLA (bla-agents / Blind LLM Agents) — MCP-сервер и CLI с открытым исходным кодом для защиты Blue, оберегающие JS/TS, Electron ASAR, WASM, Python, нативные бинарные файлы, SQLite, GGUF/Safetensors и Android DEX от ИИ-агентов обратной разработки (REA).
⚡ WebGPU-движок для инференса на чистом Rust — совместим с OpenAI API, нативная поддержка GGUF, работает на любом GPU. Без Python. Без llama.cpp. Один бинарный файл.
Демонстрация веб-камеры в реальном времени с SmolVLM и сервером llama.cpp
Atomic Agent — это ИИ-агент с приоритетом локального выполнения. Он запускает модели с открытыми весами на вашем компьютере с помощью llama.cpp.
«Швейцарский армейский нож» для офлайн-ИИ. Общайтесь, распознавайте изображения, говорите и создавайте картинки на своем телефоне или Mac — поддержка GGUF LLM, зрения, преобразования речи в текст Whisper, Stable Diffusion, вызова инструментов и серверов локальной сети. Работает на вашем CPU, GPU или NPU. Никаких аккаунтов, никаких API-ключей, данные не покидают ваше устройство.
Запускайте GLM-5.3 (744B), DeepSeek-V4.1-Flash (748B), MiniMax-M3.1-Flash (428B), GLM-5.3-Flash (321B) и Hy4-Flash (220B) на собственных GPU — от 8 ГБ видеопамяти, с поддержкой NVIDIA и AMD, единой панелью управления и API, совместимым с OpenAI и Anthropic.
Maid – это бесплатное и открытое приложение, позволяющее взаимодействовать с моделями llama.cpp локально, а также с моделями Anthropic, DeepSeek, Ollama, Mistral и OpenAI удаленно.
Практическое изучение Ollama: развертывание больших моделей на CPU, адрес для онлайн-чтения: https://datawhalechina.github.io/handy-ollama/
Нативный сервер инференса LLM для Apple Silicon. Совместим с API OpenAI и Anthropic. Python не требуется. Приложение macOS с бэкендом на Zig и фронтендом на Swift, поддерживающее генерацию чатов, музыки, голоса и видео.
Фреймворк LLM-агента в ComfyUI включает сервер MCP, Omost, GPT-sovits, ChatTTS, GOT-OCR2.0 и узлы приглашений FLUX, доступ к Feishu, Discord и адаптируется ко всем LLM с интерфейсами, подобными OpenAI/AISuite, таким как o1, ollama, gemini, grok, qwen, GLM, deepseek, kimi, doubao. Адаптировано к локальным LLM, VLM, GGUF, таким как llama-3.3 Janus-Pro, Linkage GraphRAG
Запускайте модели ИИ локально на вашем компьютере с помощью привязок Node.js для llama.cpp. Применяйте JSON-схему к выводу модели на уровне генерации.
Локальное приложение ИИ и движок логического вывода для агентов. Запускайте LLM с открытыми весами локально — конфиденциально, 100% офлайн на вашем компьютере. Присоединяйтесь к нашему Discord: https://discord.com/invite/8wGSsvmg4V
Открытые модели для принятия решений от 0,8B до 27B: откалиброванная вероятность для каждого варианта за один проход и краткое рассуждение только при неуверенности. Движок для vLLM, llama.cpp и MLX.
Эффективность на уровне посттренировочной квантования, точность на уровне квантования с учетом обучения
NobodyWho — это механизм вывода, который позволяет вам локально и эффективно запускать LLM на любом устройстве.
Самый простой и быстрый способ запускать локально или на периферии индивидуализированные и точно настроенные LLM
Модели распознавания речи Fun-ASR с нативной поддержкой Hugging Face Transformers для Fun-ASR-Nano и отдельными вариантами развёртывания для FunASR, vLLM и llama.cpp.
Инструмент DevOps с открытым исходным кодом от CNCF для упаковки и управления версиями моделей ИИ/МО, наборов данных, кода и конфигураций в OCI Artifact.
Инференс на CPU без GPU для MoE-моделей размером 30B–284B (Qwen3.8 176.5B сертифицирован в режиме холодного кэша в Cgroup v2 с объёмом 28,26/48,35 ГиБ, DeepSeek-V4 284B, Nemotron-30B) + RouteCrack 2.0.
Открытый инструмент для перевода экрана в реальном времени на Android без root, подходит для игр, визуальных новелл и манги. Поддерживает OCR на устройстве и в облаке, офлайн-LLM, несколько сервисов перевода, перевод на экране и озвучивание текста (TTS).
Запускайте большие ИИ-модели на собственном ПК: Qwen3.8-Flash-Next на движке Strata, а GLM 5.3 Flash, DeepSeek V4 Flash, LFM2.5, Qwen3.6, Ornith 1.5, Gemma 4, Tiel Coder и MiniCPM-V — на втором движке, созданном для PolyStrata. Установка в один клик для Windows и Linux, API OpenAI/Anthropic на localhost.
Запускайте модели, превышающие объём вашей RAM или VRAM, загружая экспертов MoE с SSD в потоковом режиме. Основано на llama.cpp.
Запускайте MoE-модели, превышающие объём вашей оперативной памяти. MoE передового уровня на телефоне, ноутбуке или edge-устройстве. Без потерь, на стандартном llama.cpp. Адаптивный потоковый оптимизатор. Любое оборудование, любая ОС, любая модель и квантование — через локальный сервер, совместимый с OpenAI.
Самый передовой и полностью автономный клиентский ИИ-комплекс на Android на сегодняшний день.
Переписывает черновики ИИ так, чтобы они звучали по-человечески. Работает локально и сохраняет факты
jevos: альтернатива Jev и Microsoft-Decision-1 с открытым исходным кодом. Решения «да/нет», выбор и оценка с вероятностями — на процессоре вашего ноутбука.
CLI-инструмент для оценки требований к памяти инференса для моделей Hugging Face, написанный на Python.
Открытые мультимодальные модели принятия решений размером от 0,8B до 27B для работы с текстом, изображениями и видео. Оценивайте собственные варианты с помощью вероятностей и определяйте местоположение с помощью ограничивающих рамок вместо генерации текста. Бесплатный API, ONNX, GGUF, vLLM и SGLang; код для дообучения включён.
LLM.swift — это простая и читаемая библиотека, которая позволяет легко взаимодействовать с большими языковыми моделями локально для macOS, iOS, watchOS, tvOS и visionOS.
37 ток/с на Qwen3-Next-80B (48 ГБ) на ноутбуке с 32 ГБ памяти; 24 ток/с без черновой генерации против 2,8 у llama.cpp; скорость чтения — 62 против 16 ток/с. Быстрее llama.cpp на всех 13 моделях, сравнивавшихся в Q4_K_M. Запускайте LLM, превышающие объём вашей RAM, на чистом C — на CPU или GPU.
Нативный .NET-движок инференса больших языковых моделей (LLM) и среда выполнения агентов для моделей GGUF. TensorSharp предоставляет консольное приложение, веб-интерфейс чат-бота, приложение для iPhone, а также совместимые с Ollama/OpenAI HTTP API для программного доступа. Поддерживаются Windows, macOS, iOS и Linux с полноценной поддержкой GPU.
Действуйте, опираясь на собственный интеллект: создавайте приложения на Go, напрямую интегрирующие llama.cpp для локального вывода с аппаратным ускорением в Linux, macOS, Windows и WebAssembly.
Узлы ComfyUI для моделей зрения-языка: Qwen3-VL, Moondream 3, Florence-2, SmolVLM2, InternVL, Gemma 3, MiniCPM-V. А также обнаружение с открытым словарем, сегментация SAM2/SAM3, временное видео-рассуждение, GGUF через llama.cpp и размещенные API LLM/VLM.
Библиотека Go для встроенного векторного поиска и семантических вложений, использующая llama.cpp
Быстрый и точный вывод для моделей StartLux-Decision на GPU NVIDIA: опубликованные файлы GGUF работают на тензорных ядрах int8 и 4-битных ядрах через API /v1/systemone, обеспечивая в FP8 задержку до 5,3 раза ниже, чем у vLLM, при побитово идентичных ответах.
Xolotl: запускайте DeepSeek-V4.1-Flash со всеми 552B параметров как локального агента для программирования на одном игровом ПК (RTX 4090 + 110 ГБ ОЗУ): около 33 токенов/с в режиме агента, около 41 в быстром режиме, контекст 512K. Также доступны Inkling-2-Mini (Thinking Machines, собственный движок + модуль создания черновиков MTP), GLM-5.3-Flash, Qwen3.8 и LFM3-Omni. Эксперты MoE распределяются по уровням между VRAM, ОЗУ и NVMe (Xolotl Direct). API OpenAI + Anthropic.
Локальный инференс для диффузионных языковых моделей (LLaDA, Dream), написанный на Mojo
Синтез речи, распознавание речи и обнаружение речевой активности для голосового общения на C++ с использованием ggml: Qwen3-TTS, Irodori-TTS, Qwen3-ASR, ReazonSpeech, parakeet и Silero VAD для Metal, Vulkan и CPU, с сервером, совместимым с OpenAI, и транскрибацией в реальном времени.
Генеративное распознавание речи с приоритетом арабского языка — Audar-ASR-V1 (Flash + Turbo). № 1 в рейтинге Open Universal Arabic ASR. Карточки моделей, бенчмарки и инференс.
Часто задаваемые вопросы
Какой репозиторий по теме #gguf наиболее популярен на GitHub?
Самый высоко оценённый проект с открытым исходным кодом по теме #gguf на GitHub — AlexsJones/llmfit, набравший 39,174 звёзд. Сотни моделей и провайдеров. Одна команда, чтобы найти, что работает на вашем оборудовании.
Какие языки программирования чаще всего используются в репозиториях по теме #gguf?
Среди наиболее высоко оценённых проектов по теме #gguf на GitHub чаще всего используются языки программирования Python, C++, TypeScript, Rust.
Как рассчитывается рейтинг репозиториев по теме #gguf?
Мы отслеживаем 49 активных репозиториев с открытым исходным кодом, отмеченных тегом #gguf (500 и более звёзд), с общим числом 165,186 звёзд и в среднем 3,371 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.