Git Stars Git Stars

#llm-inference Репозитории

202
Всего репозиториев
1.0M
Всего звезд
5,180
Среднее количество звезд на репозиторий

Всего репозиториев: 202

151
nace-ai/kapitsa

Сверхбыстрый движок инференса для Apple Silicon, оптимизированный для Qwen и Nemotron. Совместим с API OpenAI и Anthropic. Создан командой nace.ai.

nace-ai
⭐ 840 C++ 👤 nace-ai Organization 🕐 Обновлено 2026-11-21 📅 Создано 2026-10-16
152
warpfront/hipfire

Движок вывода LLM, нативный для RDNA, на Rust.

warpfront
⭐ 826 Rust 👤 warpfront Organization 🕐 Обновлено 2026-11-21 📅 Создано 2026-03-21
153
mukel/llama3.java

Вывод Llama 3+ на чистом Java

mukel
⭐ 818 Java 👤 mukel User 🕐 Обновлено 2026-04-24 📅 Создано 2024-04-25
154
vince-lam/awesome-local-llms

Сравните совместимые локальные LLM-проекты с открытым исходным кодом по их метрикам, чтобы оценить популярность и активность.

vince-lam
⭐ 816 Python 👤 vince-lam User 🕐 Обновлено 2026-11-16 📅 Создано 2024-02-29
155
ARahim3/kaggle-tpu-lab

Открытые модели передового уровня на бесплатной TPU Kaggle v5e-8: GLM-5.3-Flash 320B MoE (~165 токенов/с, на нашем собственном движке JAX) и Qwen3.8-27B bf16 (~130 токенов/с), контекст 262k и кэширование префиксов. Работает с Claude Code, Codex, opencode и pi.

ARahim3
⭐ 812 Python 👤 ARahim3 User 🕐 Обновлено 2026-10-06 📅 Создано 2026-08-31
156
tetherto/qvac

Локальный ИИ-SDK с открытым исходным кодом — запускайте ИИ на устройстве без облака и ключей API. Поддерживает GGUF, RAG, генерацию изображений, музыки и видео, преобразование речи в текст, P2P-инференс и многое другое. Кроссплатформенность: Linux, macOS, Windows, Android, iOS.

tetherto
⭐ 806 TypeScript 👤 tetherto Organization 🕐 Обновлено 2026-11-21 📅 Создано 2026-01-03
157
SimpleBerry/LLaMA-O1

Большие модели рассуждений

SimpleBerry
⭐ 806 Python 👤 SimpleBerry Organization 🕐 Обновлено 2024-12-03 📅 Создано 2024-10-10
158
D-Keqi/mtla

MTLA: Многоголовочное временное латентное внимание

D-Keqi
⭐ 761 Python 👤 D-Keqi User 🕐 Обновлено 2025-10-06 📅 Создано 2025-05-19
159
microsoft/BitBLAS

BitBLAS — это библиотека для поддержки матричных умножений со смешанной точностью, особенно для развертывания квантованных LLM.

microsoft
⭐ 751 Python 👤 microsoft Organization 🕐 Обновлено 2025-08-06 📅 Создано 2024-02-23
160
pegainfer-project/pegainfer

Чистый движок вывода LLM на Rust + CUDA — без PyTorch, совместим с OpenAI, обслуживает от Qwen3 до Kimi-K2

pegainfer-project
⭐ 748 Rust 👤 pegainfer-project Organization 🕐 Обновлено 2026-11-21 📅 Создано 2026-02-17
161
ARahim3/mlx-dspark

Декодирование LLM на Apple Silicon до 4× быстрее, без потери качества. Нативный порт на MLX спекулятивного декодирования DSpark от DeepSeek и DFlash от z-lab — Gemma-4, Qwen3.8, Muse-Glimmer, Nemotron, LFM2.5, Ornith-1.0 и тернарная Bonsai-27B.

ARahim3
⭐ 743 Python 👤 ARahim3 User 🕐 Обновлено 2026-11-08 📅 Создано 2026-06-29
162
Avarok-Cybersecurity/atlas

Чистый движок вывода на Rust

Avarok-Cybersecurity
⭐ 737 Rust 👤 Avarok-Cybersecurity Organization 🕐 Обновлено 2026-11-16 📅 Создано 2026-05-05
163
ghimiresunil/LLM-PowerHouse-A-Curated-Guide-for-Large-Language-Models-with-Custom-Training-and-Inferencing

LLM-PowerHouse: Раскройте потенциал LLM с помощью тщательно отобранных руководств, лучших практик и готового к использованию кода для пользовательского обучения и логического вывода.

ghimiresunil
⭐ 734 Jupyter Notebook 👤 ghimiresunil User 🕐 Обновлено 2026-03-13 📅 Создано 2023-05-28
164
stoyan-stoyanov/llmflows

LLMFlows – Простые, явные и прозрачные приложения LLM

stoyan-stoyanov
⭐ 706 Python 👤 stoyan-stoyanov User 🕐 Обновлено 2025-02-20 📅 Создано 2023-06-26
165
feifeibear/long-context-attention

USP: Единое (также гибридное, 2D) последовательное параллельное внимание для обучения и вывода моделей Transformer с длинным контекстом

feifeibear
⭐ 697 Python 👤 feifeibear User 🕐 Обновлено 2026-09-16 📅 Создано 2024-03-27
167
MDK8888/GPTFast

Ускорьте ваши Hugging Face Transformers в 7,6-9 раз. Нативно для Hugging Face и PyTorch.

MDK8888
⭐ 687 Python 👤 MDK8888 User 🕐 Обновлено 2024-08-22 📅 Создано 2024-02-18
168
google-deepmind/recurrentgemma

Языковая модель с открытыми весами от Google DeepMind, основанная на Griffin.

google-deepmind
⭐ 686 Python 👤 google-deepmind Organization 🕐 Обновлено 2026-02-06 📅 Создано 2024-03-25
169
carloslfu/slotstream

Запускайте ИИ-модель размером 105 ГБ на Mac, на котором она не помещается целиком. Qwen3.8-Flash-Next в 4-битном формате загружается потоком с SSD на компьютерах Mac с Apple Silicon и 16–64 ГБ памяти. Полностью нативная реализация на Swift, MLX и Metal. Работает офлайн, без Python. CLI, библиотека Swift и API Ollama/OpenAI/Anthropic. Совместима с Claude Code и Codex.

carloslfu
⭐ 674 Swift 👤 carloslfu User 🕐 Обновлено 2026-11-17 📅 Создано 2026-08-28
170
run-ai/genv

GPU-среда и управление кластером с поддержкой LLM

run-ai
⭐ 657 Python 👤 run-ai Organization 🕐 Обновлено 2024-05-16 📅 Создано 2022-09-04
172
NightMean/OlliteRT

Превратите свой Android-смартфон в совместимый с OpenAI сервер инференса LLM — полностью локальный, приватный и с открытым исходным кодом

NightMean
⭐ 645 Kotlin 👤 NightMean User 🕐 Обновлено 2026-11-07 📅 Создано 2026-04-06
173
NotPunchnox/rkllama

Альтернатива Ollama для Rockchip NPU: Эффективное решение для запуска моделей ИИ и глубокого обучения на устройствах Rockchip с оптимизированной поддержкой NPU (rkllm)

NotPunchnox
⭐ 631 Python 👤 NotPunchnox User 🕐 Обновлено 2026-10-28 📅 Создано 2024-12-30
174
sixgpt/miner

Официальный майнер для SixGPT

sixgpt
⭐ 611 Shell 👤 sixgpt Organization 🕐 Обновлено 2024-12-19 📅 Создано 2024-10-06
175
felladrin/MiniSearch

Минималистичная платформа для поиска в Интернете с ИИ-помощником, который работает прямо в вашем браузере. Демо: https://felladrin-minisearch.hf.space

felladrin
⭐ 611 TypeScript 👤 felladrin User 🕐 Обновлено 2026-11-21 📅 Создано 2023-10-14
176
jaylfc/taOS

Самохостируемая ОС для ИИ-агентов. Ваша память, чаты, агенты и файлы остаются на вашем собственном оборудовании: по умолчанию офлайн, в облаке — по выбору. Включает офлайн-память ИИ (taOSmd), самохостируемый мультифреймворковый групповой чат, полноценный веб-рабочий стол + магазин приложений, а также автоматическую кластеризацию на уже имеющемся у вас потребительском оборудовании (Orange/Raspberry Pi, Mac mini, игровой ПК).

jaylfc
⭐ 609 Python 👤 jaylfc User 🕐 Обновлено 2026-11-20 📅 Создано 2026-04-05
177
andrewkchan/yalm

Еще одна языковая модель: вывод LLM на C++/CUDA, никаких библиотек, кроме ввода-вывода

andrewkchan
⭐ 597 C++ 👤 andrewkchan User 🕐 Обновлено 2025-09-13 📅 Создано 2024-10-02
178
huggingface/swift-chat

Приложение для Mac для демонстрации swift-transformers

huggingface
⭐ 592 Swift 👤 huggingface Organization 🕐 Обновлено 2024-07-29 📅 Создано 2023-05-11
179
zjhellofss/KuiperLLama

Школьный набор, осенний набор, весенний набор, отличные стажировки, поможем вам с нуля реализовать фреймворк для инференса больших моделей с поддержкой Llama2/3 и Qwen2.5.

zjhellofss
⭐ 581 C++ 👤 zjhellofss User 🕐 Обновлено 2025-10-28 📅 Создано 2024-04-25
180
kacper-daftcode/vLLM-Moet

Передовые MoE-модели на RTX PRO 6000 / RTX 5090 (sm_120): DeepSeek-V4.1-Flash на 4 RTX PRO 6000, гибридная конфигурация GPU+CPU на 4 RTX 5090 и 2-битные эксперты в vLLM v0.24.0

kacper-daftcode
⭐ 580 Sass 👤 kacper-daftcode User 🕐 Обновлено 2026-11-18 📅 Создано 2026-06-15
181
SakanaAI/treequest

Библиотека поиска по дереву с гибким API для масштабирования LLM во время вывода

SakanaAI
⭐ 580 Python 👤 SakanaAI Organization 🕐 Обновлено 2026-11-08 📅 Создано 2025-06-30
182
devflowinc/uzi

CLI для параллельного запуска большого количества агентов кодирования с использованием git worktrees

devflowinc
⭐ 579 Go 👤 devflowinc Organization 🕐 Обновлено 2025-06-04 📅 Создано 2025-05-27
183
rohan-paul/LLM-FineTuning-Large-Language-Models

Дообучение LLM (большой языковой модели)

rohan-paul
⭐ 574 Jupyter Notebook 👤 rohan-paul User 🕐 Обновлено 2025-04-01 📅 Создано 2023-10-22
184
StartLuxLabs/StartLux-Prism

Быстрый и точный вывод для моделей StartLux-Decision на GPU NVIDIA: опубликованные файлы GGUF работают на тензорных ядрах int8 и 4-битных ядрах через API /v1/systemone, обеспечивая в FP8 задержку до 5,3 раза ниже, чем у vLLM, при побитово идентичных ответах.

StartLuxLabs
⭐ 560 Python 👤 StartLuxLabs Organization 🕐 Обновлено 2026-10-27 📅 Создано 2026-10-13
185
yassa9/qwen600

Статический минималистичный однопакетный движок вывода только для CUDA qwen3-0.6B

yassa9
⭐ 559 Cuda 👤 yassa9 User 🕐 Обновлено 2025-09-08 📅 Создано 2025-09-06
186
01-ai/Yi-1.5

Yi-1.5 — улучшенная версия Yi, обеспечивающая более высокую производительность в области программирования, математики, логических рассуждений и выполнения инструкций.

01-ai
⭐ 557 👤 01-ai Organization 🕐 Обновлено 2024-11-11 📅 Создано 2024-05-10
189
Noeda/rllama

Реализация кода вывода LLaMA на Rust+OpenCL+AVX2

Noeda
⭐ 551 Rust 👤 Noeda User 🕐 Обновлено 2024-02-12 📅 Создано 2023-03-11
190
OmniJev/Flide

🔥🔥 Сверхбыстрый механизм вывода для моделей принятия решений

OmniJev
⭐ 550 Python 👤 OmniJev Organization 🕐 Обновлено 2026-11-21 📅 Создано 2026-10-24
191
Indras-Mirror/Xolotl

Xolotl: запускайте DeepSeek-V4.1-Flash со всеми 552B параметров как локального агента для программирования на одном игровом ПК (RTX 4090 + 110 ГБ ОЗУ): около 33 токенов/с в режиме агента, около 41 в быстром режиме, контекст 512K. Также доступны Inkling-2-Mini (Thinking Machines, собственный движок + модуль создания черновиков MTP), GLM-5.3-Flash, Qwen3.8 и LFM3-Omni. Эксперты MoE распределяются по уровням между VRAM, ОЗУ и NVMe (Xolotl Direct). API OpenAI + Anthropic.

Indras-Mirror
⭐ 549 C++ 👤 Indras-Mirror User 🕐 Обновлено 2026-11-21 📅 Создано 2026-10-06
192
mit-han-lab/duo-attention

[ICLR 2025] DuoAttention: Эффективный вывод LLM с длинным контекстом с использованием головок поиска и потоковой передачи

mit-han-lab
⭐ 541 Python 👤 mit-han-lab Organization 🕐 Обновлено 2025-02-10 📅 Создано 2024-10-15
193
microsoft/sarathi-serve

Движок для обслуживания LLM с низкой задержкой и высокой пропускной способностью

microsoft
⭐ 539 Python 👤 microsoft Organization 🕐 Обновлено 2026-11-17 📅 Создано 2023-11-02
194
v-modal/awesome-jev-tools

Тщательно подобранный список инструментов, созданных для Jev — модели System One от TypeSafe AI для типизированных решений.

v-modal
⭐ 537 👤 v-modal Organization 🕐 Обновлено 2026-11-15 📅 Создано 2026-09-19
195
brontoguana/krasis

Krasis — это гибридная среда выполнения LLM, ориентированная на эффективный запуск больших моделей на потребительском оборудовании с ограниченным объемом видеопамяти

brontoguana
⭐ 530 C++ 👤 brontoguana User 🕐 Обновлено 2026-11-12 📅 Создано 2026-02-09
196
ome-projects/ome

Open Model Engine (OME) — оператор Kubernetes для предоставления LLM-сервисов, планирования использования GPU и управления жизненным циклом моделей. Поддерживает SGLang, vLLM, TensorRT-LLM и Triton

ome-projects
⭐ 529 Go 👤 ome-projects Organization 🕐 Обновлено 2026-11-21 📅 Создано 2025-05-19
197
amitshekhariitbhu/llm-inference-engineering

Изучайте инженерию инференса LLM шаг за шагом: от KV-кэша, PagedAttention и непрерывной пакетной обработки до vLLM, SGLang и GPU.

amitshekhariitbhu
⭐ 523 Markdown 👤 amitshekhariitbhu User 🕐 Обновлено 2026-11-09 📅 Создано 2026-08-18
198
huawei-csl/KVarN

KVarN — это нативный бэкенд vLLM для квантования KV-кэша ваших агентов: в 3–5 раз больше контекста, пропускная способность выше FP16 и точность на уровне FP16. Без калибровки — всего один флаг.

huawei-csl
⭐ 521 Python 👤 huawei-csl Organization 🕐 Обновлено 2026-06-22 📅 Создано 2026-05-29
199
expectedparrot/edsl

Разрабатывайте, проводите и анализируйте результаты опросов и экспериментов на основе ИИ. Моделируйте социально-научные исследования и маркетинговые исследования с помощью большого количества ИИ-агентов и больших языковых моделей.

expectedparrot
⭐ 521 Python 👤 expectedparrot Organization 🕐 Обновлено 2026-11-21 📅 Создано 2024-01-02
200
turboderp-org/exui

Веб-интерфейс для ExLlamaV2

turboderp-org
⭐ 513 JavaScript 👤 turboderp-org Organization 🕐 Обновлено 2025-02-05 📅 Создано 2023-10-29