#llama-cpp Репозитории
Всего репозиториев: 69
llama.cpp на взломанной PS5: запускайте любые модели GGUF непосредственно на консоли — начнём с Qwen 3.8
Сверхбыстрый движок инференса для Apple Silicon, оптимизированный для Qwen и Nemotron. Совместим с API OpenAI и Anthropic. Создан командой nace.ai.
Orion-14B — это семейство моделей, включающее базовую LLM-модель на 14 миллиардов параметров и серию моделей: модель чата, модель для длинного контекста, квантованную модель, модель, дообученную с использованием RAG, и модель, дообученную для агентов. Серия моделей Orion-14B включает многоязычную базовую LLM-модель на 14 миллиардов параметров и ряд связанных производных моделей, таких как модель чата, модель для длинного контекста, квантованная модель, модель, дообученная с использованием RAG, и модель, дообученная для агентов, и т. д.
Узлы ComfyUI для моделей зрения-языка: Qwen3-VL, Moondream 3, Florence-2, SmolVLM2, InternVL, Gemma 3, MiniCPM-V. А также обнаружение с открытым словарем, сегментация SAM2/SAM3, временное видео-рассуждение, GGUF через llama.cpp и размещенные API LLM/VLM.
Интеллектуальный плагин-помощник по кодированию для Visual Studio Code, разработанный на основе CodeShell
Открытый мульти-модельный ИИ-чат-клиент для iOS, Android и веба с поддержкой собственного API-ключа (BYOK). Один LLM-клиент для OpenAI, Anthropic, Google Gemini, OpenRouter, DeepSeek и ещё десяти провайдеров, а также любых эндпоинтов, совместимых с OpenAI, Anthropic или Gemini, — Ollama, LM Studio, llama.cpp, vLLM. Приоритет локальной работы, возможность самостоятельного хостинга, аккаунт не требуется. AGPL-3.0.
sparkrun — запускайте, управляйте и останавливайте рабочие нагрузки вывода LLM на системах NVIDIA DGX Spark. Поддержка в реальном времени: https://discord.com/invite/GH5kRgv6ZD
Более простой способ использовать ИИ на собственном компьютере. Бесплатная альтернатива Claude и ChatGPT с открытым исходным кодом, которая локально запускает модели с открытыми весами, например Gemma и gpt-oss, на Mac, Windows и Linux. Обеспечивает конфиденциальность и работает офлайн.
GraphRAG-rs — это высокопроизводительная, современная реализация GraphRAG (Графовая генерация с дополненным поиском) на Rust, которая строит графы знаний из документов и обеспечивает запросы на естественном языке с настраиваемым извлечением сущностей и интеграцией локальной LLM
Локальная полнофункциональная творческая ИИ-станция: пять модулей — ИИ-диалоги, ИИ-комиксы, создание комикс-драм, рабочее пространство для письма и изучение знаний; локальный вывод с использованием нескольких движков (vLLM / llama.cpp / Transformers), интеллектуальное управление видеопамятью, изоляция по принципу bulkhead и самовосстановление. Только для учебных целей; будем рады обсуждению и замечаниям. (Из-за ограничений протокола последние изменения, за исключением системы плагинов, пока нельзя отправить в репозиторий.)
Полностью написанный на Rust движок инференса для LLM, VLM, VLA, TTS и OCR на базе Candle и Rust. Альтернатива llama.cpp — гораздо проще и чище.
Генеративное распознавание речи с приоритетом арабского языка — Audar-ASR-V1 (Flash + Turbo). № 1 в рейтинге Open Universal Arabic ASR. Карточки моделей, бенчмарки и инференс.