#llm-inference Репозитории
Всего репозиториев: 202
Сверхбыстрый движок инференса для Apple Silicon, оптимизированный для Qwen и Nemotron. Совместим с API OpenAI и Anthropic. Создан командой nace.ai.
Сравните совместимые локальные LLM-проекты с открытым исходным кодом по их метрикам, чтобы оценить популярность и активность.
Открытые модели передового уровня на бесплатной TPU Kaggle v5e-8: GLM-5.3-Flash 320B MoE (~165 токенов/с, на нашем собственном движке JAX) и Qwen3.8-27B bf16 (~130 токенов/с), контекст 262k и кэширование префиксов. Работает с Claude Code, Codex, opencode и pi.
Локальный ИИ-SDK с открытым исходным кодом — запускайте ИИ на устройстве без облака и ключей API. Поддерживает GGUF, RAG, генерацию изображений, музыки и видео, преобразование речи в текст, P2P-инференс и многое другое. Кроссплатформенность: Linux, macOS, Windows, Android, iOS.
BitBLAS — это библиотека для поддержки матричных умножений со смешанной точностью, особенно для развертывания квантованных LLM.
Чистый движок вывода LLM на Rust + CUDA — без PyTorch, совместим с OpenAI, обслуживает от Qwen3 до Kimi-K2
Декодирование LLM на Apple Silicon до 4× быстрее, без потери качества. Нативный порт на MLX спекулятивного декодирования DSpark от DeepSeek и DFlash от z-lab — Gemma-4, Qwen3.8, Muse-Glimmer, Nemotron, LFM2.5, Ornith-1.0 и тернарная Bonsai-27B.
LLM-PowerHouse: Раскройте потенциал LLM с помощью тщательно отобранных руководств, лучших практик и готового к использованию кода для пользовательского обучения и логического вывода.
USP: Единое (также гибридное, 2D) последовательное параллельное внимание для обучения и вывода моделей Transformer с длинным контекстом
Ускорьте ваши Hugging Face Transformers в 7,6-9 раз. Нативно для Hugging Face и PyTorch.
Языковая модель с открытыми весами от Google DeepMind, основанная на Griffin.
Запускайте ИИ-модель размером 105 ГБ на Mac, на котором она не помещается целиком. Qwen3.8-Flash-Next в 4-битном формате загружается потоком с SSD на компьютерах Mac с Apple Silicon и 16–64 ГБ памяти. Полностью нативная реализация на Swift, MLX и Metal. Работает офлайн, без Python. CLI, библиотека Swift и API Ollama/OpenAI/Anthropic. Совместима с Claude Code и Codex.
Превратите свой Android-смартфон в совместимый с OpenAI сервер инференса LLM — полностью локальный, приватный и с открытым исходным кодом
Альтернатива Ollama для Rockchip NPU: Эффективное решение для запуска моделей ИИ и глубокого обучения на устройствах Rockchip с оптимизированной поддержкой NPU (rkllm)
Минималистичная платформа для поиска в Интернете с ИИ-помощником, который работает прямо в вашем браузере. Демо: https://felladrin-minisearch.hf.space
Самохостируемая ОС для ИИ-агентов. Ваша память, чаты, агенты и файлы остаются на вашем собственном оборудовании: по умолчанию офлайн, в облаке — по выбору. Включает офлайн-память ИИ (taOSmd), самохостируемый мультифреймворковый групповой чат, полноценный веб-рабочий стол + магазин приложений, а также автоматическую кластеризацию на уже имеющемся у вас потребительском оборудовании (Orange/Raspberry Pi, Mac mini, игровой ПК).
Еще одна языковая модель: вывод LLM на C++/CUDA, никаких библиотек, кроме ввода-вывода
Школьный набор, осенний набор, весенний набор, отличные стажировки, поможем вам с нуля реализовать фреймворк для инференса больших моделей с поддержкой Llama2/3 и Qwen2.5.
Передовые MoE-модели на RTX PRO 6000 / RTX 5090 (sm_120): DeepSeek-V4.1-Flash на 4 RTX PRO 6000, гибридная конфигурация GPU+CPU на 4 RTX 5090 и 2-битные эксперты в vLLM v0.24.0
Библиотека поиска по дереву с гибким API для масштабирования LLM во время вывода
CLI для параллельного запуска большого количества агентов кодирования с использованием git worktrees
Быстрый и точный вывод для моделей StartLux-Decision на GPU NVIDIA: опубликованные файлы GGUF работают на тензорных ядрах int8 и 4-битных ядрах через API /v1/systemone, обеспечивая в FP8 задержку до 5,3 раза ниже, чем у vLLM, при побитово идентичных ответах.
Статический минималистичный однопакетный движок вывода только для CUDA qwen3-0.6B
Yi-1.5 — улучшенная версия Yi, обеспечивающая более высокую производительность в области программирования, математики, логических рассуждений и выполнения инструкций.
Xolotl: запускайте DeepSeek-V4.1-Flash со всеми 552B параметров как локального агента для программирования на одном игровом ПК (RTX 4090 + 110 ГБ ОЗУ): около 33 токенов/с в режиме агента, около 41 в быстром режиме, контекст 512K. Также доступны Inkling-2-Mini (Thinking Machines, собственный движок + модуль создания черновиков MTP), GLM-5.3-Flash, Qwen3.8 и LFM3-Omni. Эксперты MoE распределяются по уровням между VRAM, ОЗУ и NVMe (Xolotl Direct). API OpenAI + Anthropic.
[ICLR 2025] DuoAttention: Эффективный вывод LLM с длинным контекстом с использованием головок поиска и потоковой передачи
Движок для обслуживания LLM с низкой задержкой и высокой пропускной способностью
Тщательно подобранный список инструментов, созданных для Jev — модели System One от TypeSafe AI для типизированных решений.
Krasis — это гибридная среда выполнения LLM, ориентированная на эффективный запуск больших моделей на потребительском оборудовании с ограниченным объемом видеопамяти
Open Model Engine (OME) — оператор Kubernetes для предоставления LLM-сервисов, планирования использования GPU и управления жизненным циклом моделей. Поддерживает SGLang, vLLM, TensorRT-LLM и Triton
Изучайте инженерию инференса LLM шаг за шагом: от KV-кэша, PagedAttention и непрерывной пакетной обработки до vLLM, SGLang и GPU.
KVarN — это нативный бэкенд vLLM для квантования KV-кэша ваших агентов: в 3–5 раз больше контекста, пропускная способность выше FP16 и точность на уровне FP16. Без калибровки — всего один флаг.
Разрабатывайте, проводите и анализируйте результаты опросов и экспериментов на основе ИИ. Моделируйте социально-научные исследования и маркетинговые исследования с помощью большого количества ИИ-агентов и больших языковых моделей.