#local-llm Репозитории
Откройте для себя 122 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #local-llm, с общим числом 383,928 звёзд (в среднем 3,146 на проект). Лидером этой темы является HKUDS/nanobot, набравший 50,249 звёзд.
Всего репозиториев: 122
Открытый программный агент для написания кода в вашем терминале, созданный на Rust. Он работает с любой моделью, умеет распределять одну задачу между несколькими агентами, а вы можете прочитать каждую строку его кода.
Тонкая настройка LLM из одного YAML. Потоковая передача слоев обучает модель 8B на 4 ГБ ноутбучном GPU.
~95% в SimpleQA (напр. Qwen3.6-27B на 3090). Поддерживает все локальные и облачные LLM (llama.cpp, Ollama, Google, ...). 10+ поисковых систем - arXiv, PubMed, ваши приватные документы. Всё локально и зашифровано.
Полностью локальный помощник для веб-исследований и написания отчетов
FreeAskInternet — это совершенно бесплатный, ЧАСТНЫЙ и ЛОКАЛЬНО работающий агрегатор поиска и генератор ответов, использующий МНОЖЕСТВО LLM, без необходимости в GPU. Пользователь может задать вопрос, и система выполнит многодвижковый поиск и объединит результаты поиска с LLM, чтобы сгенерировать ответ на основе результатов поиска. Все это БЕСПЛАТНО для использования.
Самостоятельно размещаемая среда выполнения агентов TypeScript с сохраняемыми согласованиями и проверяемыми записями запусков. Владейте ею, одобряйте и проводите аудит самостоятельно.
Голосовая ИИ-платформа с открытым исходным кодом. Self-hosted альтернатива Vapi и Retell. Работает on-premise, поддерживает BYOK для Speech-to-Speech или LLM/STT/TTS, включает визуальный конструктор рабочих процессов, нативную поддержку MCP и телефонии.
ИИ для здравоохранения с приоритетом локальной обработки: распознавание клинических именованных сущностей (NER) и обезличивание персональных данных (PII) в соответствии с HIPAA на оборудовании под вашим контролем. Более 2 200 медицинских моделей, обработка PII на основе моделей для 35 языков, а также среды выполнения для Python, MLX, Android и браузера. SDK по лицензии Apache-2.0.
Это Ядро Личности для GLaDOS, первые шаги к реальной реализации ИИ из серии игр Portal от Valve.
Демонстрация веб-камеры в реальном времени с SmolVLM и сервером llama.cpp
Самостоятельно размещаемое приложение для поиска работы и составления резюме, которое создает персонализированные резюме и сопроводительные письма на основе вашего профиля.
Категоричная и дотошная расстановка пробелов в JavaScript с семантической оценкой встроенным ИИ
Универсальная локальная AI-студия для вашего рабочего стола: чат, генерация изображений и видео, а также агент для программирования в одном бесплатном приложении с открытым исходным кодом. Windows и Linux. Без Docker, без терминала, без облака.
Rapid-MLX — это сервер инференса LLM с открытым исходным кодом (Apache 2.0) для Apple Silicon, совместимый с OpenAI и Anthropic, созданный на базе MLX и ориентированный на надёжные вызовы инструментов для программных агентов. До 4 раз быстрее MLX (mlx-lm) от Apple при использовании тех же весов.
Персональные AI-блокноты. Организуйте файлы и веб-страницы и генерируйте заметки из них. Открытый исходный код, локальные и открытые данные, выбор открытой модели (включая локальную).
Atomic Agent — это ИИ-агент с приоритетом локального выполнения. Он запускает модели с открытыми весами на вашем компьютере с помощью llama.cpp.
Достигли лимита использования Claude Code? Продолжайте бесплатно и офлайн на локальной модели: Qwen 3.8, Gemma 4 и Qwen 4 уже в день выхода. Работает на Mac с Apple Silicon (MLX), Linux и Windows (llama.cpp) без ключа API. Ваш код остаётся у вас.
Linger — это персональный агент с открытым исходным кодом, который полностью работает на вашем ПК. Мы стремимся разрушить монополию крупных технологических компаний на ИИ, предоставляя мощный локальный ИИ для обычных компьютеров благодаря эффективной совместной разработке модели и среды её выполнения, чтобы каждый мог запускать собственный ИИ.
Запускайте GLM-5.3 (744B), DeepSeek-V4.1-Flash (748B), MiniMax-M3.1-Flash (428B), GLM-5.3-Flash (321B) и Hy4-Flash (220B) на собственных GPU — от 8 ГБ видеопамяти, с поддержкой NVIDIA и AMD, единой панелью управления и API, совместимым с OpenAI и Anthropic.
Курируемый список замечательных платформ, инструментов, практик и ресурсов, которые помогают запускать LLM локально
Открытый настольный ИИ-агент для инструментов, файлов, знаний, рабочих процессов и реальных результатов.
Быстро обслуживайте большие модели Qwen на тех GPU, которыми вы действительно располагаете. Qwen3.8-27B на одной карте объёмом 24 ГБ с vLLM: 127 ток/с для одного пользователя (381, когда ответ цитирует промпт), около 1 035 ток/с при 64 одновременных запросах, контекст 150k–262k. Патчи для vLLM, конвейер повторной квантизации и бенчмарки.
Самый быстрый способ запускать Qwen 3.8 Flash Next, Qwen 3.8 27B и Ternary Bonsai 2 27B на Mac: 125 токенов/с в OpenCode на M5 Max и модель 27B на Mac с 16 ГБ памяти. Нативное спекулятивное декодирование MTP на Apple Silicon, точность при любой температуре. Локальный сервер, совместимый с OpenAI и Anthropic.
Профессиональный ИИ-инструмент для исследований в Zotero: общайтесь с PDF, ищите по всей библиотеке, используйте «Радар литературы» и автопилот. Более 30 LLM или локальных моделей; встроенный MCP-сервер. Общайтесь со своим Zotero в кармане на iPhone → https://www.docsagent.app
Нативный сервер инференса LLM для Apple Silicon. Совместим с API OpenAI и Anthropic. Python не требуется. Приложение macOS с бэкендом на Zig и фронтендом на Swift, поддерживающее генерацию чатов, музыки, голоса и видео.
GraphRAG с использованием локальных LLM — предлагает надежный API и несколько приложений для индексации/настройки подсказок/запросов/чата/визуализации/и т. д. Это должно стать абсолютным приложением GraphRAG/KG для локальных LLM.
Локальный мультимодальный ИИ в реальном времени с функциями, аналогичными GPT-Live
Локальное приложение ИИ и движок логического вывода для агентов. Запускайте LLM с открытыми весами локально — конфиденциально, 100% офлайн на вашем компьютере. Присоединяйтесь к нашему Discord: https://discord.com/invite/8wGSsvmg4V
Synthadoc: Движок компиляции знаний LLM с открытым исходным кодом, который превращает необработанные документы в структурированные, локальные вики. Прозрачная, читаемая человеком альтернатива традиционному RAG, которая может самостоятельно управляться и улучшаться без использования каких-либо инструментов.
Бесплатная высококачественная конечная точка API преобразования текста в речь для замены OpenAI, Azure или ElevenLabs
Идеальная портативная локальная AI-среда без установки. Запускайте высококачественные нецензурированные LLM (Gemma, Qwen, NemoMix) прямо с любой USB-флешки или SSD. Полностью изолированная от сети, кроссплатформенная (Win/Mac/Linux) и ориентированная на конфиденциальность с постоянной историей чатов.
Да, это еще одна реализация чата по документам... но эта полностью локальная!
Оркестратор микроагентов, который следит за чем угодно вместо вас. Полностью работает локально. Открытый исходный код.
Capri — Бесплатный ИИ-питомец для рабочего стола, игровой оверлей и голосовой компаньон с открытым исходным кодом для Windows. Визуальный графический интерфейс для Claude Code, Ollama, DeepSeek и MCP. Подключается к звонкам в Discord, запускает игры Steam, комментирует игровой процесс и автоматизирует задачи на экране офлайн.
NobodyWho — это механизм вывода, который позволяет вам локально и эффективно запускать LLM на любом устройстве.
Row-Bot — ИИ-ассистент с приоритетом локальной работы, который действительно справляется с задачами. Он помнит важное, работает с вашими файлами, кодом, дизайнами, браузером и приложениями, запускает рабочие процессы и агентов, а когда ему требуется ваше участие, сообщает об этом. Перед любым рискованным действием он спрашивает разрешения. Используйте подписку ChatGPT, Claude или Grok, ключ API либо локальные модели. Ваши данные остаются на вашем устройстве.
Высокопроизводительный сервер логического вывода LLM, совместимый с OpenAI и Anthropic, для Apple Silicon. Нативный MLX, непрерывная пакетная обработка, мультимодальные модели, вызовы инструментов MCP и поддержка Claude Code.
Готовые конфигурации компьютеров для ИИ с открытым исходным кодом: от настольных ПК с 2 GPU до серверов с 8 GPU. CAD-файлы, спецификации, настройки BIOS и инструкции по сборке. Закажите комплект корпуса с райзерами PCIe или попросите нас бесплатно проверить совместимость.
Бот Grok с открытым исходным кодом. Боты Gawk автоматизируют вашу рутинную работу с помощью моделей ИИ и создают для вас микро-приложения для управления результатом, создавая ложное ощущение контроля.
Часто задаваемые вопросы
Какой репозиторий по теме #local-llm наиболее популярен на GitHub?
Самый высоко оценённый проект с открытым исходным кодом по теме #local-llm на GitHub — HKUDS/nanobot, набравший 50,249 звёзд. Ваш лёгкий персональный агент с открытым исходным кодом.
Какие языки программирования чаще всего используются в репозиториях по теме #local-llm?
Среди наиболее высоко оценённых проектов по теме #local-llm на GitHub чаще всего используются языки программирования Python, TypeScript, Rust, C++.
Как рассчитывается рейтинг репозиториев по теме #local-llm?
Мы отслеживаем 122 активных репозиториев с открытым исходным кодом, отмеченных тегом #local-llm (500 и более звёзд), с общим числом 383,928 звёзд и в среднем 3,146 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.