Git Stars Git Stars

#llm-inference Репозитории

202
Всего репозиториев
1.0M
Всего звезд
5,180
Среднее количество звезд на репозиторий

Всего репозиториев: 202

51
turboderp-org/exllamav2

Быстрая библиотека вывода для локального запуска LLM на современных потребительских GPU

turboderp-org
⭐ 4,653 Python 👤 turboderp-org Organization 🕐 Обновлено 2026-03-04 📅 Создано 2023-08-30
52
openai/harmony

Рендерер для формата ответов harmony, используемого с gpt-oss

openai
⭐ 4,548 Rust 👤 openai Organization 🕐 Обновлено 2026-04-08 📅 Создано 2025-07-31
53
CalvinXKY/InfraTech

Обмен знаниями об AI Infra и практика кода: PyTorch, vLLM/SGLang, введение в фреймворк slime/vime ⚡️, ускорение производительности 🚀, основы больших моделей 🧠, программное и аппаратное обеспечение ИИ 🔧 и т.д.

CalvinXKY
⭐ 4,411 Jupyter Notebook 👤 CalvinXKY User 🕐 Обновлено 2026-09-20 📅 Создано 2025-11-14
54
algorithmicsuperintelligence/optillm

Оптимизация прокси-сервера для инференса LLM

algorithmicsuperintelligence
⭐ 4,343 Python 👤 algorithmicsuperintelligence Organization 🕐 Обновлено 2026-11-16 📅 Создано 2024-08-22
55
NVIDIA/GenerativeAIExamples

Референсные рабочие процессы генеративного ИИ, оптимизированные для ускоренной инфраструктуры и архитектуры микросервисов.

NVIDIA
⭐ 4,235 Jupyter Notebook 👤 NVIDIA Organization 🕐 Обновлено 2026-11-06 📅 Создано 2023-10-19
56
raullenchai/Rapid-MLX

Rapid-MLX — это сервер инференса LLM с открытым исходным кодом (Apache 2.0) для Apple Silicon, совместимый с OpenAI и Anthropic, созданный на базе MLX и ориентированный на надёжные вызовы инструментов для программных агентов. До 4 раз быстрее MLX (mlx-lm) от Apple при использовании тех же весов.

raullenchai
⭐ 4,168 Python 👤 raullenchai User 🕐 Обновлено 2026-11-21 📅 Создано 2026-02-25
57
predibase/lorax

Сервер вывода Multi-LoRA, масштабируемый до тысяч дообученных LLM

predibase
⭐ 3,836 Python 👤 predibase Organization 🕐 Обновлено 2026-05-28 📅 Создано 2023-10-20
58
hemansnation/AI-Engineer-Headquarters

Коллекция научных методов, процессов, алгоритмов и систем для создания историй и моделей.

hemansnation
⭐ 3,782 Jupyter Notebook 👤 hemansnation User 🕐 Обновлено 2026-10-28 📅 Создано 2022-03-29
59
amitshekhariitbhu/ai-engineering-interview-questions

Ваша шпаргалка для собеседования по инженерной разработке ИИ – Вопросы и ответы.

amitshekhariitbhu
⭐ 3,707 Markdown 👤 amitshekhariitbhu User 🕐 Обновлено 2026-11-21 📅 Создано 2026-03-21
60
xjdr-alt/entropix

Энтропийная выборка и параллельное декодирование CoT

xjdr-alt
⭐ 3,434 Python 👤 xjdr-alt User 🕐 Обновлено 2024-11-13 📅 Создано 2024-10-03
61
ikawrakow/ik_llama.cpp

Форк llama.cpp с дополнительными SOTA квантами и улучшенной производительностью

ikawrakow
⭐ 3,411 C++ 👤 ikawrakow User 🕐 Обновлено 2026-11-21 📅 Создано 2024-06-27
⭐ 3,377 Python 👤 danielgross User 🕐 Обновлено 2024-02-25 📅 Создано 2023-10-01
63
b4rtaz/distributed-llama

Распределенный вывод LLM. Объедините домашние устройства в мощный кластер для ускорения вывода LLM. Больше устройств означает более быстрый вывод.

b4rtaz
⭐ 3,141 C++ 👤 b4rtaz User 🕐 Обновлено 2026-11-17 📅 Создано 2023-12-04
64
mw00/project-maya

Запускайте GLM-5.3 (744B), DeepSeek-V4.1-Flash (748B), MiniMax-M3.1-Flash (428B), GLM-5.3-Flash (321B) и Hy4-Flash (220B) на собственных GPU — от 8 ГБ видеопамяти, с поддержкой NVIDIA и AMD, единой панелью управления и API, совместимым с OpenAI и Anthropic.

mw00
⭐ 3,140 C++ 👤 mw00 User 🕐 Обновлено 2026-11-21 📅 Создано 2026-10-06
65
spiceai/spiceai

Добавьте узел аналитики в реальном времени в свою рабочую базу данных. Spice — это портативный и ускоренный движок для SQL-запросов, поиска и LLM-выводов, написанный на Rust для приложений и агентов ИИ, основанных на данных.

spiceai
⭐ 3,132 Rust 👤 spiceai Organization 🕐 Обновлено 2026-11-21 📅 Создано 2021-08-08
66
qwopqwop200/GPTQ-for-LLaMa

4-битная квантизация LLaMA с использованием GPTQ

qwopqwop200
⭐ 3,077 Python 👤 qwopqwop200 User 🕐 Обновлено 2024-07-13 📅 Создано 2023-03-06
67
luminal-ai/luminal

Вывод на скорости света.

luminal-ai
⭐ 3,064 Rust 👤 luminal-ai Organization 🕐 Обновлено 2026-11-19 📅 Создано 2023-07-18
69
syv-ai/HyperQwen

Быстро обслуживайте большие модели Qwen на тех GPU, которыми вы действительно располагаете. Qwen3.8-27B на одной карте объёмом 24 ГБ с vLLM: 127 ток/с для одного пользователя (381, когда ответ цитирует промпт), около 1 035 ток/с при 64 одновременных запросах, контекст 150k–262k. Патчи для vLLM, конвейер повторной квантизации и бенчмарки.

syv-ai
⭐ 2,778 Python 👤 syv-ai Organization 🕐 Обновлено 2026-11-10 📅 Создано 2026-08-15
70
youssofal/MTPLX

Самый быстрый способ запускать Qwen 3.8 Flash Next, Qwen 3.8 27B и Ternary Bonsai 2 27B на Mac: 125 токенов/с в OpenCode на M5 Max и модель 27B на Mac с 16 ГБ памяти. Нативное спекулятивное декодирование MTP на Apple Silicon, точность при любой температуре. Локальный сервер, совместимый с OpenAI и Anthropic.

youssofal
⭐ 2,729 Python 👤 youssofal User 🕐 Обновлено 2026-11-21 📅 Создано 2026-05-02
71
vllm-project/production-stack

Референтная система vLLM для нативной для K8S кластерной развертки с оптимизацией производительности под руководством сообщества

vllm-project
⭐ 2,729 Python 👤 vllm-project Organization 🕐 Обновлено 2026-11-07 📅 Создано 2025-01-21
72
FasterDecoding/Medusa

Medusa: Простая структура для ускорения генерации LLM с несколькими головами декодирования

FasterDecoding
⭐ 2,684 Jupyter Notebook 👤 FasterDecoding Organization 🕐 Обновлено 2024-06-25 📅 Создано 2023-09-10
73
mirage-project/mirage

Mirage Persistent Kernel: Компиляция LLM в MegaKernel

mirage-project
⭐ 2,625 Cuda 👤 mirage-project Organization 🕐 Обновлено 2026-11-21 📅 Создано 2024-05-08
74
incoai/splash

Локальный движок инференса для Apple Silicon, созданный вокруг модели.

incoai
⭐ 2,591 C++ 👤 incoai Organization 🕐 Обновлено 2026-11-17 📅 Создано 2026-09-18
75
Nano-Collective/nanocoder

Открытый агент для программирования в терминале, созданный сообществом, а не компанией. Используйте свою собственную модель, храните код на своем компьютере и никому ничего не будьте должны.

Nano-Collective
⭐ 2,582 TypeScript 👤 Nano-Collective Organization 🕐 Обновлено 2026-11-21 📅 Создано 2025-07-30
76
SafeAILab/EAGLE

Официальная реализация EAGLE-1 (ICML'24), EAGLE-2 (EMNLP'24) и EAGLE-3 (NeurIPS'25).

SafeAILab
⭐ 2,581 Python 👤 SafeAILab Organization 🕐 Обновлено 2026-02-20 📅 Создано 2023-12-07
77
databricks/dbrx

Примеры кода и ресурсы для DBRX, большой языковой модели, разработанной Databricks

databricks
⭐ 2,578 Python 👤 databricks Organization 🕐 Обновлено 2024-05-01 📅 Создано 2024-03-26
78
Jittor/JittorLLMs

Библиотека для инференса больших моделей Jito обладает высокой производительностью, низкими требованиями к конфигурации, хорошей поддержкой китайского языка и переносимостью.

Jittor
⭐ 2,419 Python 👤 Jittor User 🕐 Обновлено 2025-02-22 📅 Создано 2023-04-02
79
ashhart/TensorFold

Движок инференса LLM для Metal, CUDA и Vulkan.

ashhart
⭐ 2,364 Zig 👤 ashhart User 🕐 Обновлено 2026-11-21 📅 Создано 2026-06-19
80
datawhalechina/zero-to-sglang

Официальный курс SGLang x Datawhale по инференсу LLM: разберитесь в инференсе, создайте мини-SGLang с нуля, затем изучите настоящий исходный код SGLang и отправьте свой первый PR. Доступен на английском и китайском языках.

datawhalechina
⭐ 2,306 Python 👤 datawhalechina Organization 🕐 Обновлено 2026-11-17 📅 Создано 2026-08-27
82
cfregly/ai-performance-engineering

Код, лабораторные работы и ресурсы для O'Reilly AI Systems Performance Engineering: оптимизация GPU, распределенное обучение, масштабирование вывода и полностековая настройка.

cfregly
⭐ 2,233 Python 👤 cfregly User 🕐 Обновлено 2026-11-19 📅 Создано 2025-04-21
83
neuron-core/neuron-ai

Фреймворк агентов в экосистеме PHP для создания готовых к промышленной эксплуатации приложений на базе ИИ. Подключайте компоненты (LLM, инструменты, векторные базы данных, память) к агентам, которые взаимодействуют с вашими данными и пользовательским интерфейсом.

neuron-core
⭐ 2,179 PHP 👤 neuron-core Organization 🕐 Обновлено 2026-11-20 📅 Создано 2025-03-02
84
pallavi-shekhar/ai-engineering-interview-questions-company-wise

Шпаргалка для собеседований по инженерии ИИ в ведущих компаниях в сфере ИИ — вопросы и ответы.

pallavi-shekhar
⭐ 2,098 Markdown 👤 pallavi-shekhar User 🕐 Обновлено 2026-11-21 📅 Создано 2026-09-19
85
microsoft/aici

AICI: Промпты как (Wasm) программы

microsoft
⭐ 2,077 Rust 👤 microsoft Organization 🕐 Обновлено 2025-01-22 📅 Создано 2023-09-26
86
SemiAnalysisAI/InferenceX

Исследовательская платформа с открытым исходным кодом для инференса

SemiAnalysisAI
⭐ 2,074 Python 👤 SemiAnalysisAI Organization 🕐 Обновлено 2026-11-21 📅 Создано 2025-07-12
87
ovg-project/kvcached

Виртуализированный эластичный KV-кэш для динамического совместного использования GPU и не только

ovg-project
⭐ 2,051 Python 👤 ovg-project Organization 🕐 Обновлено 2026-11-20 📅 Создано 2025-05-27
88
AtomicBot-ai/Atomic-Chat

Локальное приложение ИИ и движок логического вывода для агентов. Запускайте LLM с открытыми весами локально — конфиденциально, 100% офлайн на вашем компьютере. Присоединяйтесь к нашему Discord: https://discord.com/invite/8wGSsvmg4V

AtomicBot-ai
⭐ 2,040 TypeScript 👤 AtomicBot-ai Organization 🕐 Обновлено 2026-11-19 📅 Создано 2026-03-31
89
kimjammer/Neuro

Воссоздание Neuro-Sama, изначально созданное за 7 дней.

kimjammer
⭐ 1,960 Python 👤 kimjammer User 🕐 Обновлено 2025-01-17 📅 Создано 2024-01-07
90
liltom-eth/llama2-webui

Запустите любую модель Llama 2 локально с помощью интерфейса Gradio на GPU или CPU из любого места (Linux/Windows/Mac). Используйте `llama2-wrapper` в качестве вашего локального бэкенда Llama2 для Генеративных Агентов/Приложений.

liltom-eth
⭐ 1,954 Jupyter Notebook 👤 liltom-eth User 🕐 Обновлено 2024-03-22 📅 Создано 2023-07-20
91
tile-ai/TileRT

Пространство выполнения на основе тайлов для сверхнизколатентного вывода LLM

tile-ai
⭐ 1,906 Python 👤 tile-ai Organization 🕐 Обновлено 2026-09-24 📅 Создано 2025-11-12
92
XiongjieDai/GPU-Benchmarks-on-LLM-Inference

Несколько графических процессоров NVIDIA или Apple Silicon для инференса больших языковых моделей?

XiongjieDai
⭐ 1,862 Jupyter Notebook 👤 XiongjieDai User 🕐 Обновлено 2024-05-13 📅 Создано 2023-07-19
93
beam-cloud/beta9

Сверхбыстрое бессерверное GPU-выведение, песочницы и фоновые задания

beam-cloud
⭐ 1,858 Go 👤 beam-cloud Organization 🕐 Обновлено 2026-11-20 📅 Создано 2023-11-15
94
turboderp-org/exllamav3

Оптимизированная библиотека квантования и инференса для локального запуска LLM на современных потребительских GPU

turboderp-org
⭐ 1,853 Python 👤 turboderp-org Organization 🕐 Обновлено 2026-11-19 📅 Создано 2025-04-06
95
vllm-project/guidellm

Оцените и улучшите развертывания ваших LLM для реальных потребностей в выводе

vllm-project
⭐ 1,800 Python 👤 vllm-project Organization 🕐 Обновлено 2026-11-21 📅 Создано 2024-05-29
96
software-mansion/react-native-executorch

Высокопроизводительная библиотека ИИ-инференса на устройстве для React Native с приоритетом конфиденциальности, работающая на основе среды выполнения ExecuTorch от PyTorch

software-mansion
⭐ 1,794 TypeScript 👤 software-mansion Organization 🕐 Обновлено 2026-11-20 📅 Создано 2024-10-16
97
janhq/awesome-local-ai

Потрясающий репозиторий локальных ИИ-инструментов

janhq
⭐ 1,791 👤 janhq Organization 🕐 Обновлено 2024-11-13 📅 Создано 2023-09-06
99
LlamaEdge/LlamaEdge

Самый простой и быстрый способ запускать локально или на периферии индивидуализированные и точно настроенные LLM

LlamaEdge
⭐ 1,665 Rust 👤 LlamaEdge Organization 🕐 Обновлено 2026-02-08 📅 Создано 2023-10-09
100
Nutlope/turboseek

Поисковая система ИИ, вдохновленная Perplexity

Nutlope
⭐ 1,660 TypeScript 👤 Nutlope User 🕐 Обновлено 2026-10-23 📅 Создано 2024-05-26