#llm-inference Репозитории
Откройте для себя 202 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #llm-inference, с общим числом 1,046,424 звёзд (в среднем 5,180 на проект). Лидером этой темы является deepseek-ai/DeepSeek-V3, набравший 104,417 звёзд.
Всего репозиториев: 202
GPT4All: Запускайте локальные LLM на любом устройстве. Открытый исходный код и доступен для коммерческого использования.
Настольное приложение с открытым исходным кодом для локальных LLM. Поддержка текста, зрения, вызова инструментов, API, совместимого с OpenAI/Anthropic. 100% конфиденциально.
Ray — это движок вычислений ИИ. Ray состоит из основной распределённой среды выполнения и набора библиотек ИИ для ускорения нагрузок ML.
Qwen3 — это серия больших языковых моделей, разработанная командой Qwen, Alibaba Cloud.
Галерея, демонстрирующая примеры использования ML/GenAI на устройстве и позволяющая пользователям пробовать и использовать модели локально.
Этот проект направлен на обмен техническими принципами и практическим опытом, связанным с большими моделями (инженерия больших моделей, практическое применение больших моделей).
Гибкая структура для изучения оптимизаций вывода/дообучения гетерогенных больших языковых моделей
Более 20 высокопроизводительных LLM с рецептами для предварительного обучения, тонкой настройки и развертывания в масштабе.
Запускайте любые LLM с открытым исходным кодом, такие как DeepSeek и Llama, в качестве совместимой с OpenAI конечной точки API в облаке.
Модель Kimi K3 с 2,78 триллионами параметров, выполняющая логический вывод на одном процессоре с 8,24 ГБ оперативной памяти. Портативный C99: без BLAS, без фреймворков, без GPU.
OpenVINO™ — это набор инструментов с открытым исходным кодом для оптимизации и развертывания вывода ИИ.
Высокопроизводительное обслуживание больших языковых моделей для локального развертывания
Самый простой способ обслуживания AI-приложений и моделей - Создавайте API вывода моделей, очереди заданий, приложения LLM, конвейеры с несколькими моделями и многое другое!
《Глубокое понимание AI-инфраструктуры: количественный анализ и проектирование систем》 (автор — Ли Боцзе), рукопись книги с открытым исходным кодом: исходя из аппаратных ограничений и архитектур моделей, количественно выводит принципы проектирования систем инференса и обучения LLM. Включает полный текст книги, PDF, сопутствующие вычислительные инструменты и эксперименты.
LMDeploy — это набор инструментов для сжатия, развертывания и обслуживания LLM.
Инференс Gemma 4 26B-A4B с использованием ~2 ГБ оперативной памяти на любом MacBook серии M
[ICLR 2024] Эффективные потоковые языковые модели с центром внимания (Attention Sinks)
Plano — это прокси-сервер и плоскость данных, созданные на основе ИИ для агентных приложений. Умная маршрутизация LLM, наблюдаемость, оркестрация агентов и защитные механизмы, чтобы вы могли сосредоточиться на основной логике ваших агентов.
DeepSeek-Coder-V2: Преодоление барьера проприетарных моделей в области анализа кода
Это простой проект технического科普-туториала, в основном посвященный объяснению интересных, передовых технических концепций и принципов. Каждая статья должна быть прочитана за 5 минут.
Lemonade помогает пользователям находить и запускать локальные приложения ИИ, предоставляя оптимизированные LLM прямо с их собственных GPU и NPU. Присоединяйтесь к нашему Discord: https://discord.gg/5xXzkMu8Zk
Стандартизированная распределенная платформа для генеративного и предиктивного вывода ИИ для масштабируемого развертывания с несколькими фреймворками на Kubernetes
Простая и эффективная генерация текста Transformer на основе Pytorch менее чем за 1000 строк кода Python.
2-битное квантование, ядра и среда выполнения для потребительских устройств.
Менеджер GPU-кластеров для высокопроизводительного обслуживания моделей ИИ (vLLM, SGLang) и предоставления GPU-инстансов по запросу с доступом по SSH.
⚡ WebGPU-движок для инференса на чистом Rust — совместим с OpenAI API, нативная поддержка GGUF, работает на любом GPU. Без Python. Без llama.cpp. Один бинарный файл.
Универсальная библиотека вывода plug-and-play для рекурсивных языковых моделей (RLM), поддерживающая различные изолированные среды (sandbox).
Компактная реализация SGLang, разработанная для того, чтобы упростить понимание сложностей современных систем обслуживания LLM.
📚Подборка отличных статей об инференсе LLM/VLM с кодами: Flash-Attention, Paged-Attention, WINT8/4, Parallelism и т.д.🎉
Superduper: комплексная платформа для создания пользовательских ИИ-приложений и агентов.
fastllm — это высокопроизводительная библиотека для инференса больших языковых моделей, не зависящая от бэкенда. Она помогает эффективно запускать инференс на большинстве устройств.
DeepSeek-V2: Мощная, экономичная и эффективная языковая модель Mixture-of-Experts
Eko (Eko продолжает работать) - Создавайте готовые к эксплуатации агентские рабочие процессы на естественном языке - eko.fellou.ai
RuVector предоставляет высокопроизводительное принятие решений в реальном времени и память агентов, самообучающийся ИИ и векторную базу данных GNN, созданную на Rust.
Часто задаваемые вопросы
Какой репозиторий по теме #llm-inference наиболее популярен на GitHub?
Самый высоко оценённый проект с открытым исходным кодом по теме #llm-inference на GitHub — deepseek-ai/DeepSeek-V3, набравший 104,417 звёзд.
Какие языки программирования чаще всего используются в репозиториях по теме #llm-inference?
Среди наиболее высоко оценённых проектов по теме #llm-inference на GitHub чаще всего используются языки программирования Python, C++, Rust, Go.
Как рассчитывается рейтинг репозиториев по теме #llm-inference?
Мы отслеживаем 202 активных репозиториев с открытым исходным кодом, отмеченных тегом #llm-inference (500 и более звёзд), с общим числом 1,046,424 звёзд и в среднем 5,180 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.