#local-llm Репозитории
Всего репозиториев: 122
Точно настраивайте LLMs на вашем Mac с Apple Silicon. SFT, DPO, GRPO, Vision, TTS, STT, Embedding и тонкая настройка OCR — нативно на MLX. API, совместимый с Unsloth.
🌌 Вдохните душу в своих любимых персонажей. Soul of Waifu — это десктопное приложение для ролевых игр и общения с ИИ-компаньонами, поддерживающее Live2D/VRM-аватары, голосовой чат и локальные LLM. Развивайтесь вместе в захватывающих чатах, RPG-приключениях и прямо на вашем рабочем столе.
Аналитика отзывов клиентов с открытым исходным кодом и приоритетом конфиденциальности. Самостоятельно размещаемая альтернатива Enterpret и Unwrap, которая удаляет персональные данные из отзывов до того, как их увидит любая большая языковая модель.
Локальный инференс с поведением, как у передового API: Qwen3.8-Flash-Next на AMD Strix Halo и небольшие модели для NPU — через API OpenAI и Anthropic на одном порту.
Инференс на CPU без GPU для MoE-моделей размером 30B–284B (Qwen3.8 176.5B сертифицирован в режиме холодного кэша в Cgroup v2 с объёмом 28,26/48,35 ГиБ, DeepSeek-V4 284B, Nemotron-30B) + RouteCrack 2.0.
Простая игрушечная демонстрация локального голосового помощника с whisper и большой языковой моделью.
Запускайте большие ИИ-модели на собственном ПК: Qwen3.8-Flash-Next на движке Strata, а GLM 5.3 Flash, DeepSeek V4 Flash, LFM2.5, Qwen3.6, Ornith 1.5, Gemma 4, Tiel Coder и MiniCPM-V — на втором движке, созданном для PolyStrata. Установка в один клик для Windows и Linux, API OpenAI/Anthropic на localhost.
Автономное тестирование на проникновение с использованием ИИ и открытым исходным кодом. 50 специализированных агентов для веб-приложений, API, облака, Active Directory, Kubernetes, CI/CD и ИИ/LLM (OWASP LLM Top 10), а также граф путей атаки, проверенный на основе доказательств. Работает на локальной LLM за шлюзом конфиденциальности. Интегрируется с GitHub, GitLab, Jenkins, VS Code, JetBrains, n8n, Grafana и Splunk.
Запускайте модели, превышающие объём вашей RAM или VRAM, загружая экспертов MoE с SSD в потоковом режиме. Основано на llama.cpp.
Open-source ИИ-компаньоны, питомцы на рабочий стол, долгосрочная память и проактивный чат. Полный сборник опенсорс-проектов для отношений человека и ИИ. Позвольте вашему локальному ИИ существовать независимо от официальных платформ, обладая памятью и инициативой.
Список отличных платформ, инструментов и ресурсов для локального запуска LLM
Ваш iPhone помогает Mac запускать модель на 27 млрд параметров: более быстрое чтение промптов и больший контекст через кабель USB-C
Обеспечивает автоматизированную поддержку обратного инжиниринга с использованием локальных больших языковых моделей (LLM) на потребительском оборудовании.
PokeClaw (PocketClaw) — первая ИИ на устройстве, которая управляет вашим Android-телефоном. Gemma 4, без облака, без API-ключа. Poke — сокращение от Pocket.
Максимальное увеличение возможностей запуска различных LLM на самых компактных устройствах
Создавайте ИИ-агентов с нуля, используя локальную LLM – без фреймворков, без облачных API и без скрытого рассуждения.
Простой локально размещённый сервер веб-поиска MCP для использования с локальными LLM
Управляйте потоком: единая ИИ-платформа с открытым исходным кодом для ваших знаний, моделей и каналов — веб, WhatsApp, электронная почта, Outlook, Nextcloud и ownCloud. Локальные и облачные модели рядом, с указанием стоимости каждого ответа.
Capri — настольный ИИ-агент, вдохновлённый «Эджраннерами». Поддерживает Claude 3.7, Claude Code, OpenAI и локальные Ollama/LLaMA. Настраиваемая ИИ-вайфу-компаньонка с голосовым чатом.
Самый передовой и полностью автономный клиентский ИИ-комплекс на Android на сегодняшний день.
Системный монитор Apple Silicon без sudo (родной GUI на SwiftUI) с отслеживанием ANE / Media Engine / пропускной способности памяти
Запустите Kimi K3 локально на процессоре с использованием около 55 ГБ оперативной памяти во время выполнения. Однофайловый сервер логического вывода для Linux на базе cPilot Runtime.
Переписывает черновики ИИ так, чтобы они звучали по-человечески. Работает локально и сохраняет факты
Минималистичный нативный для терминала агент программирования, написанный на C.
Мост между серверами Ollama и MCP, позволяющий локальным LLM использовать инструменты протокола контекста модели
jevos: альтернатива Jev и Microsoft-Decision-1 с открытым исходным кодом. Решения «да/нет», выбор и оценка с вероятностями — на процессоре вашего ноутбука.
Установщик в одну команду для самостоятельно размещаемого ИИ-стека на вашем собственном сервере: n8n, Ollama, Open WebUI, OpenClaw, Dify, Flowise, Supabase, ComfyUI, Qdrant и более 30 инструментов. Docker Compose, автоматическая настройка HTTPS через Caddy и встроенный мониторинг. Бесплатная альтернатива Zapier/Make.
Nornicdb — это распределенная база данных с низкой задержкой, сочетающая Graph+Vector и Temporal MVCC, обеспечивающая поиск HNSW, обход графов и запись данных менее чем за миллисекунду. Использование Neo4j Bolt/Cypher и gRPC от qdrant позволяет переключиться без внесения изменений, одновременно добавляя интеллектуальные функции, такие как схемы, управляемые эмбеддинги, переранжирование+LLM, ускорение GPU, Auto-TLP, политику затухания памяти и MCP-сервер.
Создайте конвейер RAG (Retrieval Augmented Generation) с нуля и запустите его полностью локально.
Голосовой ввод для macOS с локальными моделями: расшифровывайте речь, переводите и переформулируйте текст в любом приложении. Преемник Voxt.
Открытое настольное приложение для нативной разработки игр с помощью ИИ. Создавайте игры в Unreal Engine, Unity, Godot, Roblox или Three.js, используя любой ИИ, включая локальные модели.
Прокси, который позволяет использовать ollama в качестве помощника, похожего на Github Copilot
Прототип локальной LLM для Android 17 с Jetpack Compose и ONNX Runtime для экспериментов с автономным выводом ИИ.
Запускайте полноценный Kimi K3 на одном устройстве. А также API-сервер, совместимый с OpenAI, для локальных чат-ботов и агентов программирования.
Вики LLM от Карпатти, 100% локально с Ollama. Бросайте заметки в Markdown → ИИ извлекает концепции → ваша вики Obsidian автоматически связывает и растёт. Ноль обмена. Ваши заметки остаются вашими.
Сверхбыстрый движок инференса для Apple Silicon, оптимизированный для Qwen и Nemotron. Совместим с API OpenAI и Anthropic. Создан командой nace.ai.
Используйте возможности локальных LLM с этим TUI MCP-клиентом для Ollama. Включает все основные примитивы MCP (инструменты, подсказки, ресурсы), режим агента, мультисервер, переключение моделей, потоковые ответы, человеческий контроль, режим размышления, настройку параметров модели, системные подсказки и сохраненные настройки.
Локальный ИИ-SDK с открытым исходным кодом — запускайте ИИ на устройстве без облака и ключей API. Поддерживает GGUF, RAG, генерацию изображений, музыки и видео, преобразование речи в текст, P2P-инференс и многое другое. Кроссплатформенность: Linux, macOS, Windows, Android, iOS.
Microsoft GraphRAG + AutoGen + Ollama + Chainlit = Полностью локальный и бесплатный мультиагентный RAG супербот
AlwaysReddy — это голосовой ассистент на базе LLM, который всегда находится на расстоянии одного нажатия горячей клавиши.
Декодирование LLM на Apple Silicon до 4× быстрее, без потери качества. Нативный порт на MLX спекулятивного декодирования DSpark от DeepSeek и DFlash от z-lab — Gemma-4, Qwen3.8, Muse-Glimmer, Nemotron, LFM2.5, Ornith-1.0 и тернарная Bonsai-27B.
Приложение для строки меню macOS, обеспечивающее быстрый локальный запуск DeepSeek V4.1 с контекстом в 1 млн токенов.
37 ток/с на Qwen3-Next-80B (48 ГБ) на ноутбуке с 32 ГБ памяти; 24 ток/с без черновой генерации против 2,8 у llama.cpp; скорость чтения — 62 против 16 ток/с. Быстрее llama.cpp на всех 13 моделях, сравнивавшихся в Q4_K_M. Запускайте LLM, превышающие объём вашей RAM, на чистом C — на CPU или GPU.