Git Stars Git Stars

#llm-inference Репозитории

Откройте для себя 202 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #llm-inference, с общим числом 1,046,424 звёзд (в среднем 5,180 на проект). Лидером этой темы является deepseek-ai/DeepSeek-V3, набравший 104,417 звёзд.

202
Всего репозиториев
1.0M
Всего звезд
5,180
Среднее количество звезд на репозиторий

Всего репозиториев: 202

⭐ 104,417 Python 👤 deepseek-ai Organization 🕐 Обновлено 2025-08-28 📅 Создано 2024-12-26
2
nomic-ai/gpt4all

GPT4All: Запускайте локальные LLM на любом устройстве. Открытый исходный код и доступен для коммерческого использования.

nomic-ai
⭐ 77,352 C++ 👤 nomic-ai Organization 🕐 Обновлено 2025-05-27 📅 Создано 2023-03-27
3
oobabooga/textgen

Настольное приложение с открытым исходным кодом для локальных LLM. Поддержка текста, зрения, вызова инструментов, API, совместимого с OpenAI/Anthropic. 100% конфиденциально.

oobabooga
⭐ 47,736 Python 👤 oobabooga User 🕐 Обновлено 2026-08-17 📅 Создано 2022-12-21
4
ray-project/ray

Ray — это движок вычислений ИИ. Ray состоит из основной распределённой среды выполнения и набора библиотек ИИ для ускорения нагрузок ML.

ray-project
⭐ 44,352 Python 👤 ray-project Organization 🕐 Обновлено 2026-11-21 📅 Создано 2016-10-25
5
microsoft/BitNet

Официальная структура вывода для 1-битных LLM

microsoft
⭐ 42,358 C++ 👤 microsoft Organization 🕐 Обновлено 2026-07-27 📅 Создано 2024-08-05
6
gitleaks/gitleaks

Найдите секреты с помощью Gitleaks 🔑

gitleaks
⭐ 31,234 Go 👤 gitleaks Organization 🕐 Обновлено 2026-10-28 📅 Создано 2018-01-27
7
QwenLM/Qwen3

Qwen3 — это серия больших языковых моделей, разработанная командой Qwen, Alibaba Cloud.

QwenLM
⭐ 27,753 Python 👤 QwenLM Organization 🕐 Обновлено 2026-01-09 📅 Создано 2024-02-05
8
Hannibal046/Awesome-LLM

Awesome-LLM: курируемый список больших языковых моделей

Hannibal046
⭐ 27,212 👤 Hannibal046 User 🕐 Обновлено 2025-07-31 📅 Создано 2023-02-17
9
google-ai-edge/gallery

Галерея, демонстрирующая примеры использования ML/GenAI на устройстве и позволяющая пользователям пробовать и использовать модели локально.

google-ai-edge
⭐ 25,398 Kotlin 👤 google-ai-edge Organization 🕐 Обновлено 2026-11-21 📅 Создано 2025-03-31
10
liguodongiot/llm-action

Этот проект направлен на обмен техническими принципами и практическим опытом, связанным с большими моделями (инженерия больших моделей, практическое применение больших моделей).

liguodongiot
⭐ 25,297 HTML 👤 liguodongiot User 🕐 Обновлено 2026-10-14 📅 Создано 2023-05-23
11
deepseek-ai/DeepSeek-OCR

Контексты оптического сжатия

deepseek-ai
⭐ 24,180 Python 👤 deepseek-ai Organization 🕐 Обновлено 2026-01-27 📅 Создано 2025-10-17
12
kvcache-ai/ktransformers

Гибкая структура для изучения оптимизаций вывода/дообучения гетерогенных больших языковых моделей

kvcache-ai
⭐ 19,687 Python 👤 kvcache-ai Organization 🕐 Обновлено 2026-11-13 📅 Создано 2024-07-26
13
karpathy/llama2.c

Вывод Llama 2 в одном файле на чистом C

karpathy
⭐ 19,062 C 👤 karpathy User 🕐 Обновлено 2024-08-06 📅 Создано 2023-07-23
14
Stability-AI/StableLM

StableLM: Языковые модели Stability AI

Stability-AI
⭐ 15,784 Jupyter Notebook 👤 Stability-AI Organization 🕐 Обновлено 2024-04-08 📅 Создано 2023-04-19
15
mindverse/Second-Me

Тренируйте свое ИИ-я, усиливайте себя, соединяйте мир

mindverse
⭐ 15,688 Python 👤 mindverse Organization 🕐 Обновлено 2025-09-30 📅 Создано 2025-03-16
16
Lightning-AI/litgpt

Более 20 высокопроизводительных LLM с рецептами для предварительного обучения, тонкой настройки и развертывания в масштабе.

Lightning-AI
⭐ 13,757 Python 👤 Lightning-AI Organization 🕐 Обновлено 2026-11-10 📅 Создано 2023-05-04
17
deepseek-ai/FlashMLA

FlashMLA: Эффективные многоголовые латентные ядра внимания

deepseek-ai
⭐ 13,275 C++ 👤 deepseek-ai Organization 🕐 Обновлено 2026-10-27 📅 Создано 2025-02-21
18
bentoml/OpenLLM

Запускайте любые LLM с открытым исходным кодом, такие как DeepSeek и Llama, в качестве совместимой с OpenAI конечной точки API в облаке.

bentoml
⭐ 12,610 Python 👤 bentoml Organization 🕐 Обновлено 2026-11-16 📅 Создано 2023-04-19
19
FareedKhan-dev/kimi-k3-in-c

Модель Kimi K3 с 2,78 триллионами параметров, выполняющая логический вывод на одном процессоре с 8,24 ГБ оперативной памяти. Портативный C99: без BLAS, без фреймворков, без GPU.

FareedKhan-dev
⭐ 12,523 C 👤 FareedKhan-dev User 🕐 Обновлено 2026-11-16 📅 Создано 2026-08-01
20
openvinotoolkit/openvino

OpenVINO™ — это набор инструментов с открытым исходным кодом для оптимизации и развертывания вывода ИИ.

openvinotoolkit
⭐ 11,869 C++ 👤 openvinotoolkit Organization 🕐 Обновлено 2026-11-21 📅 Создано 2018-10-15
21
mistralai/mistral-inference

Официальная библиотека вывода для моделей Mistral

mistralai
⭐ 10,809 Jupyter Notebook 👤 mistralai Organization 🕐 Обновлено 2026-04-20 📅 Создано 2023-09-27
22
abetlen/llama-cpp-python

Python-привязки для llama.cpp

abetlen
⭐ 10,691 Python 👤 abetlen User 🕐 Обновлено 2026-11-21 📅 Создано 2023-03-23
23
Tiiny-AI/PowerInfer

Высокопроизводительное обслуживание больших языковых моделей для локального развертывания

Tiiny-AI
⭐ 9,893 C++ 👤 Tiiny-AI Organization 🕐 Обновлено 2026-05-11 📅 Создано 2023-12-15
24
bentoml/BentoML

Самый простой способ обслуживания AI-приложений и моделей - Создавайте API вывода моделей, очереди заданий, приложения LLM, конвейеры с несколькими моделями и многое другое!

bentoml
⭐ 8,944 Python 👤 bentoml Organization 🕐 Обновлено 2026-11-17 📅 Создано 2019-04-02
25
ai-dynamo/dynamo

Фреймворк для распределенного обслуживания выводов в масштабе дата-центра

ai-dynamo
⭐ 8,542 Rust 👤 ai-dynamo Organization 🕐 Обновлено 2026-11-21 📅 Создано 2025-03-03
26
bojieli/ai-infra-book

《Глубокое понимание AI-инфраструктуры: количественный анализ и проектирование систем》 (автор — Ли Боцзе), рукопись книги с открытым исходным кодом: исходя из аппаратных ограничений и архитектур моделей, количественно выводит принципы проектирования систем инференса и обучения LLM. Включает полный текст книги, PDF, сопутствующие вычислительные инструменты и эксперименты.

bojieli
⭐ 8,179 Python 👤 bojieli User 🕐 Обновлено 2026-10-01 📅 Создано 2026-08-22
27
InternLM/lmdeploy

LMDeploy — это набор инструментов для сжатия, развертывания и обслуживания LLM.

InternLM
⭐ 8,153 Python 👤 InternLM Organization 🕐 Обновлено 2026-11-20 📅 Создано 2023-06-15
28
algorithmicsuperintelligence/openevolve

Реализация AlphaEvolve с открытым исходным кодом

algorithmicsuperintelligence
⭐ 7,835 Python 👤 algorithmicsuperintelligence Organization 🕐 Обновлено 2026-11-20 📅 Создано 2025-05-15
29
drumih/turbo-fieldfare

Инференс Gemma 4 26B-A4B с использованием ~2 ГБ оперативной памяти на любом MacBook серии M

drumih
⭐ 7,432 Swift 👤 drumih User 🕐 Обновлено 2026-11-14 📅 Создано 2026-07-17
30
mit-han-lab/streaming-llm

[ICLR 2024] Эффективные потоковые языковые модели с центром внимания (Attention Sinks)

mit-han-lab
⭐ 7,165 Python 👤 mit-han-lab Organization 🕐 Обновлено 2024-07-11 📅 Создано 2023-09-29
31
katanemo/plano

Plano — это прокси-сервер и плоскость данных, созданные на основе ИИ для агентных приложений. Умная маршрутизация LLM, наблюдаемость, оркестрация агентов и защитные механизмы, чтобы вы могли сосредоточиться на основной логике ваших агентов.

katanemo
⭐ 7,118 Rust 👤 katanemo Organization 🕐 Обновлено 2026-10-24 📅 Создано 2024-07-09
32
google/gemma.cpp

легковесный, автономный C++ движок вывода для моделей Gemma от Google.

google
⭐ 7,089 C++ 👤 google Organization 🕐 Обновлено 2026-11-20 📅 Создано 2024-02-13
33
deepseek-ai/DeepSeek-Coder-V2

DeepSeek-Coder-V2: Преодоление барьера проприетарных моделей в области анализа кода

deepseek-ai
⭐ 7,030 👤 deepseek-ai Organization 🕐 Обновлено 2025-11-11 📅 Создано 2024-06-14
34
karminski/one-small-step

Это простой проект технического科普-туториала, в основном посвященный объяснению интересных, передовых технических концепций и принципов. Каждая статья должна быть прочитана за 5 минут.

karminski
⭐ 7,006 Python 👤 karminski User 🕐 Обновлено 2026-03-08 📅 Создано 2025-01-16
35
flashinfer-ai/flashinfer

FlashInfer: Библиотека ядер для обслуживания LLM

flashinfer-ai
⭐ 6,982 Cuda 👤 flashinfer-ai Organization 🕐 Обновлено 2026-11-21 📅 Создано 2023-07-22
36
simplescaling/s1

s1: Простое масштабирование во время выполнения

simplescaling
⭐ 6,656 Python 👤 simplescaling Organization 🕐 Обновлено 2025-06-25 📅 Создано 2025-02-01
37
lemonade-sdk/lemonade

Lemonade помогает пользователям находить и запускать локальные приложения ИИ, предоставляя оптимизированные LLM прямо с их собственных GPU и NPU. Присоединяйтесь к нашему Discord: https://discord.gg/5xXzkMu8Zk

lemonade-sdk
⭐ 6,262 C++ 👤 lemonade-sdk Organization 🕐 Обновлено 2026-11-21 📅 Создано 2025-05-15
38
kserve/kserve

Стандартизированная распределенная платформа для генеративного и предиктивного вывода ИИ для масштабируемого развертывания с несколькими фреймворками на Kubernetes

kserve
⭐ 6,253 Go 👤 kserve Organization 🕐 Обновлено 2026-11-20 📅 Создано 2019-03-27
39
meta-pytorch/gpt-fast

Простая и эффективная генерация текста Transformer на основе Pytorch менее чем за 1000 строк кода Python.

meta-pytorch
⭐ 6,244 Python 👤 meta-pytorch Organization 🕐 Обновлено 2025-08-22 📅 Создано 2023-10-17
40
cactus-compute/engine

2-битное квантование, ядра и среда выполнения для потребительских устройств.

cactus-compute
⭐ 6,200 C++ 👤 cactus-compute Organization 🕐 Обновлено 2026-11-05 📅 Создано 2025-04-23
41
gpustack/gpustack

Менеджер GPU-кластеров для высокопроизводительного обслуживания моделей ИИ (vLLM, SGLang) и предоставления GPU-инстансов по запросу с доступом по SSH.

gpustack
⭐ 6,097 Python 👤 gpustack Organization 🕐 Обновлено 2026-11-20 📅 Создано 2024-05-11
42
Michael-A-Kuykendall/shimmy

⚡ WebGPU-движок для инференса на чистом Rust — совместим с OpenAI API, нативная поддержка GGUF, работает на любом GPU. Без Python. Без llama.cpp. Один бинарный файл.

Michael-A-Kuykendall
⭐ 6,020 Rust 👤 Michael-A-Kuykendall User 🕐 Обновлено 2026-11-12 📅 Создано 2025-08-28
43
alexzhang13/rlm

Универсальная библиотека вывода plug-and-play для рекурсивных языковых моделей (RLM), поддерживающая различные изолированные среды (sandbox).

alexzhang13
⭐ 5,776 Python 👤 alexzhang13 User 🕐 Обновлено 2026-11-21 📅 Создано 2025-12-20
44
sgl-project/mini-sglang

Компактная реализация SGLang, разработанная для того, чтобы упростить понимание сложностей современных систем обслуживания LLM.

sgl-project
⭐ 5,623 Python 👤 sgl-project Organization 🕐 Обновлено 2026-05-17 📅 Создано 2025-09-01
45
xlite-dev/Awesome-LLM-Inference

📚Подборка отличных статей об инференсе LLM/VLM с кодами: Flash-Attention, Paged-Attention, WINT8/4, Parallelism и т.д.🎉

xlite-dev
⭐ 5,565 Python 👤 xlite-dev Organization 🕐 Обновлено 2026-10-20 📅 Создано 2023-08-27
46
superduper-io/superduper

Superduper: комплексная платформа для создания пользовательских ИИ-приложений и агентов.

superduper-io
⭐ 5,317 Python 👤 superduper-io Organization 🕐 Обновлено 2025-09-01 📅 Создано 2022-08-30
47
ztxz16/fastllm

fastllm — это высокопроизводительная библиотека для инференса больших языковых моделей, не зависящая от бэкенда. Она помогает эффективно запускать инференс на большинстве устройств.

ztxz16
⭐ 5,133 C++ 👤 ztxz16 User 🕐 Обновлено 2026-11-21 📅 Создано 2023-05-13
48
deepseek-ai/DeepSeek-V2

DeepSeek-V2: Мощная, экономичная и эффективная языковая модель Mixture-of-Experts

deepseek-ai
⭐ 4,988 👤 deepseek-ai Organization 🕐 Обновлено 2024-09-25 📅 Создано 2024-04-22
49
FellouAI/eko

Eko (Eko продолжает работать) - Создавайте готовые к эксплуатации агентские рабочие процессы на естественном языке - eko.fellou.ai

FellouAI
⭐ 4,963 TypeScript 👤 FellouAI Organization 🕐 Обновлено 2026-03-03 📅 Создано 2024-11-23
50
ruvnet/RuVector

RuVector предоставляет высокопроизводительное принятие решений в реальном времени и память агентов, самообучающийся ИИ и векторную базу данных GNN, созданную на Rust.

ruvnet
⭐ 4,713 Rust 👤 ruvnet User 🕐 Обновлено 2026-11-21 📅 Создано 2025-11-19

Часто задаваемые вопросы

1

Какой репозиторий по теме #llm-inference наиболее популярен на GitHub?

Самый высоко оценённый проект с открытым исходным кодом по теме #llm-inference на GitHub — deepseek-ai/DeepSeek-V3, набравший 104,417 звёзд.

2

Какие языки программирования чаще всего используются в репозиториях по теме #llm-inference?

Среди наиболее высоко оценённых проектов по теме #llm-inference на GitHub чаще всего используются языки программирования Python, C++, Rust, Go.

3

Как рассчитывается рейтинг репозиториев по теме #llm-inference?

Мы отслеживаем 202 активных репозиториев с открытым исходным кодом, отмеченных тегом #llm-inference (500 и более звёзд), с общим числом 1,046,424 звёзд и в среднем 5,180 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.