Git Stars Git Stars

#local-llm Репозитории

122
Всего репозиториев
383,928
Всего звезд
3,146
Среднее количество звезд на репозиторий
Языки программирования: Python TypeScript C++ Kotlin C Swift Go Shell

Всего репозиториев: 122

51
theroyallab/tabbyAPI

Официальный API-сервер для Exllama. Совместим с OAI, легкий и быстрый.

theroyallab
⭐ 1,531 Python 👤 theroyallab Organization 🕐 Обновлено 2026-11-14 📅 Создано 2023-11-10
52
ARahim3/mlx-tune

Точно настраивайте LLMs на вашем Mac с Apple Silicon. SFT, DPO, GRPO, Vision, TTS, STT, Embedding и тонкая настройка OCR — нативно на MLX. API, совместимый с Unsloth.

ARahim3
⭐ 1,475 Python 👤 ARahim3 User 🕐 Обновлено 2026-06-23 📅 Создано 2026-01-03
53
jofizcd/Soul-of-Waifu

🌌 Вдохните душу в своих любимых персонажей. Soul of Waifu — это десктопное приложение для ролевых игр и общения с ИИ-компаньонами, поддерживающее Live2D/VRM-аватары, голосовой чат и локальные LLM. Развивайтесь вместе в захватывающих чатах, RPG-приключениях и прямо на вашем рабочем столе.

jofizcd
⭐ 1,474 Python 👤 jofizcd User 🕐 Обновлено 2026-08-28 📅 Создано 2023-09-02
54
obsei/obsei

Аналитика отзывов клиентов с открытым исходным кодом и приоритетом конфиденциальности. Самостоятельно размещаемая альтернатива Enterpret и Unwrap, которая удаляет персональные данные из отзывов до того, как их увидит любая большая языковая модель.

obsei
⭐ 1,454 Python 👤 obsei Organization 🕐 Обновлено 2026-11-15 📅 Создано 2020-10-25
55
peonist-ai/halogen-flash-server

Локальный инференс с поведением, как у передового API: Qwen3.8-Flash-Next на AMD Strix Halo и небольшие модели для NPU — через API OpenAI и Anthropic на одном порту.

peonist-ai
⭐ 1,412 Shell 👤 peonist-ai Organization 🕐 Обновлено 2026-11-18 📅 Создано 2026-08-26
56
synchopate/llama-modchip

Инференс на CPU без GPU для MoE-моделей размером 30B–284B (Qwen3.8 176.5B сертифицирован в режиме холодного кэша в Cgroup v2 с объёмом 28,26/48,35 ГиБ, DeepSeek-V4 284B, Nemotron-30B) + RouteCrack 2.0.

synchopate
⭐ 1,398 Python 👤 synchopate User 🕐 Обновлено 2026-11-21 📅 Создано 2026-10-29
57
linyiLYi/voice-assistant

Простая игрушечная демонстрация локального голосового помощника с whisper и большой языковой моделью.

linyiLYi
⭐ 1,329 Python 👤 linyiLYi User 🕐 Обновлено 2024-04-30 📅 Создано 2023-12-09
58
simplexai-labs/PolyStrata

Запускайте большие ИИ-модели на собственном ПК: Qwen3.8-Flash-Next на движке Strata, а GLM 5.3 Flash, DeepSeek V4 Flash, LFM2.5, Qwen3.6, Ornith 1.5, Gemma 4, Tiel Coder и MiniCPM-V — на втором движке, созданном для PolyStrata. Установка в один клик для Windows и Linux, API OpenAI/Anthropic на localhost.

simplexai-labs
⭐ 1,324 C++ 👤 simplexai-labs Organization 🕐 Обновлено 2026-11-18 📅 Создано 2026-10-06
59
ASCIT31/Dark-Moon

Автономное тестирование на проникновение с использованием ИИ и открытым исходным кодом. 50 специализированных агентов для веб-приложений, API, облака, Active Directory, Kubernetes, CI/CD и ИИ/LLM (OWASP LLM Top 10), а также граф путей атаки, проверенный на основе доказательств. Работает на локальной LLM за шлюзом конфиденциальности. Интегрируется с GitHub, GitLab, Jenkins, VS Code, JetBrains, n8n, Grafana и Splunk.

ASCIT31
⭐ 1,279 Python 👤 ASCIT31 Organization 🕐 Обновлено 2026-11-21 📅 Создано 2024-11-26
60
wici-ai/inferssd

Запускайте модели, превышающие объём вашей RAM или VRAM, загружая экспертов MoE с SSD в потоковом режиме. Основано на llama.cpp.

wici-ai
⭐ 1,277 C++ 👤 wici-ai Organization 🕐 Обновлено 2026-11-20 📅 Создано 2026-10-22
61
HelgeSverre/ollama-gui

Веб-интерфейс для общения с вашими локальными LLM через API ollama

HelgeSverre
⭐ 1,272 TypeScript 👤 HelgeSverre User 🕐 Обновлено 2026-11-16 📅 Создано 2023-10-08
62
DasterProkio/awesome-ai-companion

Open-source ИИ-компаньоны, питомцы на рабочий стол, долгосрочная память и проактивный чат. Полный сборник опенсорс-проектов для отношений человека и ИИ. Позвольте вашему локальному ИИ существовать независимо от официальных платформ, обладая памятью и инициативой.

DasterProkio
⭐ 1,248 HTML 👤 DasterProkio User 🕐 Обновлено 2026-11-21 📅 Создано 2026-07-03
63
0xSojalSec/LLMs-local

Список отличных платформ, инструментов и ресурсов для локального запуска LLM

0xSojalSec
⭐ 1,206 👤 0xSojalSec User 🕐 Обновлено 2026-06-10 📅 Создано 2025-12-17
64
StayLameBro/backburner

Ваш iPhone помогает Mac запускать модель на 27 млрд параметров: более быстрое чтение промптов и больший контекст через кабель USB-C

StayLameBro
⭐ 1,195 Python 👤 StayLameBro User 🕐 Обновлено 2026-11-07 📅 Создано 2026-10-01
65
mrphrazer/reverser_ai

Обеспечивает автоматизированную поддержку обратного инжиниринга с использованием локальных больших языковых моделей (LLM) на потребительском оборудовании.

mrphrazer
⭐ 1,176 Python 👤 mrphrazer User 🕐 Обновлено 2026-05-20 📅 Создано 2024-03-17
66
AllAboutAI-YT/easy-local-rag

SuperEasy 100% локальная RAG с Ollama + RAG по электронной почте

AllAboutAI-YT
⭐ 1,175 Python 👤 AllAboutAI-YT User 🕐 Обновлено 2024-06-04 📅 Создано 2024-04-15
67
agents-io/PokeClaw

PokeClaw (PocketClaw) — первая ИИ на устройстве, которая управляет вашим Android-телефоном. Gemma 4, без облака, без API-ключа. Poke — сокращение от Pocket.

agents-io
⭐ 1,165 Kotlin 👤 agents-io Organization 🕐 Обновлено 2026-06-02 📅 Создано 2026-04-06
68
hyperionaidev/smolmaxxing

Максимальное увеличение возможностей запуска различных LLM на самых компактных устройствах

hyperionaidev
⭐ 1,079 C 👤 hyperionaidev Organization 🕐 Обновлено 2026-11-19 📅 Создано 2026-11-04
69
pguso/agents-from-scratch

Создавайте ИИ-агентов с нуля, используя локальную LLM – без фреймворков, без облачных API и без скрытого рассуждения.

pguso
⭐ 1,079 Python 👤 pguso User 🕐 Обновлено 2026-07-25 📅 Создано 2025-12-22
70
mrkrsl/web-search-mcp

Простой локально размещённый сервер веб-поиска MCP для использования с локальными LLM

mrkrsl
⭐ 1,072 TypeScript 👤 mrkrsl User 🕐 Обновлено 2025-08-08 📅 Создано 2025-06-27
71
pepperoni21/ollama-rs

Простая и удобная библиотека для взаимодействия с API Ollama.

pepperoni21
⭐ 1,062 Rust 👤 pepperoni21 User 🕐 Обновлено 2026-11-18 📅 Создано 2023-11-02
72
metadist/synaplan

Управляйте потоком: единая ИИ-платформа с открытым исходным кодом для ваших знаний, моделей и каналов — веб, WhatsApp, электронная почта, Outlook, Nextcloud и ownCloud. Локальные и облачные модели рядом, с указанием стоимости каждого ответа.

metadist
⭐ 1,045 PHP 👤 metadist Organization 🕐 Обновлено 2026-11-21 📅 Создано 2025-03-30
73
PotterRemember37/Capri-AI-Desktop

Capri — настольный ИИ-агент, вдохновлённый «Эджраннерами». Поддерживает Claude 3.7, Claude Code, OpenAI и локальные Ollama/LLaMA. Настраиваемая ИИ-вайфу-компаньонка с голосовым чатом.

PotterRemember37
⭐ 1,040 Python 👤 PotterRemember37 User 🕐 Обновлено 2026-11-11 📅 Создано 2026-08-15
74
jegly/Box

Самый передовой и полностью автономный клиентский ИИ-комплекс на Android на сегодняшний день.

jegly
⭐ 1,035 Kotlin 👤 jegly User 🕐 Обновлено 2026-11-21 📅 Создано 2026-04-17
75
kennss/SiliconScope

Системный монитор Apple Silicon без sudo (родной GUI на SwiftUI) с отслеживанием ANE / Media Engine / пропускной способности памяти

kennss
⭐ 1,026 Swift 👤 kennss User 🕐 Обновлено 2026-11-20 📅 Создано 2026-06-08
76
wangeai/K3Flight

Запустите Kimi K3 локально на процессоре с использованием около 55 ГБ оперативной памяти во время выполнения. Однофайловый сервер логического вывода для Linux на базе cPilot Runtime.

wangeai
⭐ 1,019 HTML 👤 wangeai Organization 🕐 Обновлено 2026-07-31 📅 Создано 2026-07-30
77
sgaofen/humanizer-local-model

Переписывает черновики ИИ так, чтобы они звучали по-человечески. Работает локально и сохраняет факты

sgaofen
⭐ 1,010 Python 👤 sgaofen User 🕐 Обновлено 2026-10-19 📅 Создано 2026-09-11
78
OleksandrChekhovskyi/hax

Минималистичный нативный для терминала агент программирования, написанный на C.

OleksandrChekhovskyi
⭐ 1,006 C 👤 OleksandrChekhovskyi User 🕐 Обновлено 2026-11-13 📅 Создано 2026-04-24
79
patruff/ollama-mcp-bridge

Мост между серверами Ollama и MCP, позволяющий локальным LLM использовать инструменты протокола контекста модели

patruff
⭐ 973 TypeScript 👤 patruff User 🕐 Обновлено 2025-04-20 📅 Создано 2024-12-12
80
feder-cr/jev

jevos: альтернатива Jev и Microsoft-Decision-1 с открытым исходным кодом. Решения «да/нет», выбор и оценка с вероятностями — на процессоре вашего ноутбука.

feder-cr
⭐ 970 C++ 👤 feder-cr User 🕐 Обновлено 2026-10-18 📅 Создано 2024-08-15
81
kossakovsky/selfhost-ai

Установщик в одну команду для самостоятельно размещаемого ИИ-стека на вашем собственном сервере: n8n, Ollama, Open WebUI, OpenClaw, Dify, Flowise, Supabase, ComfyUI, Qdrant и более 30 инструментов. Docker Compose, автоматическая настройка HTTPS через Caddy и встроенный мониторинг. Бесплатная альтернатива Zapier/Make.

kossakovsky
⭐ 964 Shell 👤 kossakovsky User 🕐 Обновлено 2026-10-27 📅 Создано 2025-05-05
82
orneryd/NornicDB

Nornicdb — это распределенная база данных с низкой задержкой, сочетающая Graph+Vector и Temporal MVCC, обеспечивающая поиск HNSW, обход графов и запись данных менее чем за миллисекунду. Использование Neo4j Bolt/Cypher и gRPC от qdrant позволяет переключиться без внесения изменений, одновременно добавляя интеллектуальные функции, такие как схемы, управляемые эмбеддинги, переранжирование+LLM, ускорение GPU, Auto-TLP, политику затухания памяти и MCP-сервер.

orneryd
⭐ 933 Go 👤 orneryd User 🕐 Обновлено 2026-11-21 📅 Создано 2025-12-06
83
mrdbourke/simple-local-rag

Создайте конвейер RAG (Retrieval Augmented Generation) с нуля и запустите его полностью локально.

mrdbourke
⭐ 923 Jupyter Notebook 👤 mrdbourke User 🕐 Обновлено 2024-05-25 📅 Создано 2024-03-13
84
hehehai/VoxtMini

Голосовой ввод для macOS с локальными моделями: расшифровывайте речь, переводите и переформулируйте текст в любом приложении. Преемник Voxt.

hehehai
⭐ 916 Go 👤 hehehai User 🕐 Обновлено 2026-11-21 📅 Создано 2026-02-26
85
genex-games/genex-desktop

Открытое настольное приложение для нативной разработки игр с помощью ИИ. Создавайте игры в Unreal Engine, Unity, Godot, Roblox или Three.js, используя любой ИИ, включая локальные модели.

genex-games
⭐ 901 TypeScript 👤 genex-games Organization 🕐 Обновлено 2026-11-21 📅 Создано 2026-10-02
86
bernardo-bruning/ollama-copilot

Прокси, который позволяет использовать ollama в качестве помощника, похожего на Github Copilot

bernardo-bruning
⭐ 887 Go 👤 bernardo-bruning User 🕐 Обновлено 2026-09-14 📅 Создано 2024-04-25
87
Pangu-Immortal/MagicWX

Прототип локальной LLM для Android 17 с Jetpack Compose и ONNX Runtime для экспериментов с автономным выводом ИИ.

Pangu-Immortal
⭐ 864 Kotlin 👤 Pangu-Immortal User 🕐 Обновлено 2026-11-09 📅 Создано 2019-05-08
88
gavamedia/deltafin

Запускайте полноценный Kimi K3 на одном устройстве. А также API-сервер, совместимый с OpenAI, для локальных чат-ботов и агентов программирования.

gavamedia
⭐ 862 Rust 👤 gavamedia Organization 🕐 Обновлено 2026-10-04 📅 Создано 2026-07-28
89
kytmanov/obsidian-llm-wiki-local

Вики LLM от Карпатти, 100% локально с Ollama. Бросайте заметки в Markdown → ИИ извлекает концепции → ваша вики Obsidian автоматически связывает и растёт. Ноль обмена. Ваши заметки остаются вашими.

kytmanov
⭐ 855 Python 👤 kytmanov User 🕐 Обновлено 2026-05-26 📅 Создано 2026-04-07
90
nace-ai/kapitsa

Сверхбыстрый движок инференса для Apple Silicon, оптимизированный для Qwen и Nemotron. Совместим с API OpenAI и Anthropic. Создан командой nace.ai.

nace-ai
⭐ 840 C++ 👤 nace-ai Organization 🕐 Обновлено 2026-11-21 📅 Создано 2026-10-16
91
jonigl/mcp-client-for-ollama

Используйте возможности локальных LLM с этим TUI MCP-клиентом для Ollama. Включает все основные примитивы MCP (инструменты, подсказки, ресурсы), режим агента, мультисервер, переключение моделей, потоковые ответы, человеческий контроль, режим размышления, настройку параметров модели, системные подсказки и сохраненные настройки.

jonigl
⭐ 837 Python 👤 jonigl User 🕐 Обновлено 2026-11-19 📅 Создано 2025-04-23
92
nkasmanoff/pi-card

Голосовой помощник Raspberry Pi

nkasmanoff
⭐ 808 Python 👤 nkasmanoff User 🕐 Обновлено 2024-12-22 📅 Создано 2024-05-04
93
tetherto/qvac

Локальный ИИ-SDK с открытым исходным кодом — запускайте ИИ на устройстве без облака и ключей API. Поддерживает GGUF, RAG, генерацию изображений, музыки и видео, преобразование речи в текст, P2P-инференс и многое другое. Кроссплатформенность: Linux, macOS, Windows, Android, iOS.

tetherto
⭐ 806 TypeScript 👤 tetherto Organization 🕐 Обновлено 2026-11-21 📅 Создано 2026-01-03
94
karthik-codex/Autogen_GraphRAG_Ollama

Microsoft GraphRAG + AutoGen + Ollama + Chainlit = Полностью локальный и бесплатный мультиагентный RAG супербот

karthik-codex
⭐ 761 Python 👤 karthik-codex User 🕐 Обновлено 2024-07-20 📅 Создано 2024-07-07
95
ILikeAI/AlwaysReddy

AlwaysReddy — это голосовой ассистент на базе LLM, который всегда находится на расстоянии одного нажатия горячей клавиши.

ILikeAI
⭐ 760 Python 👤 ILikeAI User 🕐 Обновлено 2025-03-04 📅 Создано 2024-01-24
96
jart/emacs-copilot

Автодополнение кода с помощью большой языковой модели для Emacs

jart
⭐ 758 Emacs Lisp 👤 jart User 🕐 Обновлено 2024-01-07 📅 Создано 2023-12-31
97
ARahim3/mlx-dspark

Декодирование LLM на Apple Silicon до 4× быстрее, без потери качества. Нативный порт на MLX спекулятивного декодирования DSpark от DeepSeek и DFlash от z-lab — Gemma-4, Qwen3.8, Muse-Glimmer, Nemotron, LFM2.5, Ornith-1.0 и тернарная Bonsai-27B.

ARahim3
⭐ 743 Python 👤 ARahim3 User 🕐 Обновлено 2026-11-08 📅 Создано 2026-06-29
98
notatestuser/ds4-control

Приложение для строки меню macOS, обеспечивающее быстрый локальный запуск DeepSeek V4.1 с контекстом в 1 млн токенов.

notatestuser
⭐ 740 Swift 👤 notatestuser User 🕐 Обновлено 2026-10-26 📅 Создано 2026-05-29
99
prabanta-dev/janas

37 ток/с на Qwen3-Next-80B (48 ГБ) на ноутбуке с 32 ГБ памяти; 24 ток/с без черновой генерации против 2,8 у llama.cpp; скорость чтения — 62 против 16 ток/с. Быстрее llama.cpp на всех 13 моделях, сравнивавшихся в Q4_K_M. Запускайте LLM, превышающие объём вашей RAM, на чистом C — на CPU или GPU.

prabanta-dev
⭐ 738 C 👤 prabanta-dev Organization 🕐 Обновлено 2026-11-20 📅 Создано 2026-09-20
100
andersrex/notesollama

Используйте Ollama для общения с локальными LLM в Apple Notes

andersrex
⭐ 711 Swift 👤 andersrex User 🕐 Обновлено 2025-08-04 📅 Создано 2024-02-19