#inference-engine Репозитории
Откройте для себя 40 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #inference-engine, с общим числом 102,063 звёзд (в среднем 2,551 на проект). Лидером этой темы является huggingface/candle, набравший 21,367 звёзд.
Всего репозиториев: 40
✍🏻 Глубокое погружение в исходный код, проектирование систем и инженерные блоги | Halfrost-Field: Заметки по анализу исходного кода, проектированию систем и инженерной практике
Модель Kimi K3 с 2,78 триллионами параметров, выполняющая логический вывод на одном процессоре с 8,24 ГБ оперативной памяти. Портативный C99: без BLAS, без фреймворков, без GPU.
FEDML – Единая и масштабируемая ML-библиотека для крупномасштабного распределенного обучения, обслуживания моделей и федеративного обучения. FEDML Launch, кросс-облачный планировщик, позволяет запускать любые ИИ-задания в любом облаке GPU или локальном кластере. TensorOpera AI (https://TensorOpera.ai), построенная на основе этой библиотеки, — это ваша платформа генеративного ИИ в больших масштабах.
Отличные проекты для ярмарок вакансий, осеннего и весеннего набора, стажировок! Пошаговое руководство по созданию высокопроизводительной библиотеки для инференса глубокого обучения, поддерживающей инференс больших моделей, таких как Llama2, Unet, YoloV5, Resnet и других. Реализуйте высокопроизводительную библиотеку для инференса глубокого обучения шаг за шагом.
xDiT: Масштабируемый движок вывода для диффузионных трансформеров (DiTs) с массивным параллелизмом
Самый быстрый способ запускать Qwen 3.8 Flash Next, Qwen 3.8 27B и Ternary Bonsai 2 27B на Mac: 125 токенов/с в OpenCode на M5 Max и модель 27B на Mac с 16 ГБ памяти. Нативное спекулятивное декодирование MTP на Apple Silicon, точность при любой температуре. Локальный сервер, совместимый с OpenAI и Anthropic.
Официальный курс SGLang x Datawhale по инференсу LLM: разберитесь в инференсе, создайте мини-SGLang с нуля, затем изучите настоящий исходный код SGLang и отправьте свой первый PR. Доступен на английском и китайском языках.
Виртуализированный эластичный KV-кэш для динамического совместного использования GPU и не только
OneDiff: готовая к использованию библиотека ускорения для диффузионных моделей.
NobodyWho — это механизм вывода, который позволяет вам локально и эффективно запускать LLM на любом устройстве.
Высокопроизводительный механизм инференса для моделей LLM, VLM и DiT, оптимизированный для различных ИИ-ускорителей. Проект размещён в фонде OpenAtom Foundation.
Локальный инференс с поведением, как у передового API: Qwen3.8-Flash-Next на AMD Strix Halo и небольшие модели для NPU — через API OpenAI и Anthropic на одном порту.
Запускайте большие ИИ-модели на собственном ПК: Qwen3.8-Flash-Next на движке Strata, а GLM 5.3 Flash, DeepSeek V4 Flash, LFM2.5, Qwen3.6, Ornith 1.5, Gemma 4, Tiel Coder и MiniCPM-V — на втором движке, созданном для PolyStrata. Установка в один клик для Windows и Linux, API OpenAI/Anthropic на localhost.
Qualcomm® AI Hub Models — это наша коллекция передовых моделей машинного обучения, оптимизированных для обеспечения производительности (задержка, память и т. д.) и готовых к развертыванию на устройствах Qualcomm®.
Официальная реализация Gamer: универсальная базовая модель «зрение — язык — действие» для игровых агентов реального времени с долгосрочным горизонтом
Paddle.js — это веб-проект для Baidu PaddlePaddle, фреймворка глубокого обучения с открытым исходным кодом, работающего в браузере. Paddle.js может загружать предварительно обученную модель или преобразовывать модель из paddle-hub с помощью инструментов преобразования моделей, предоставляемых Paddle.js. Он может работать в любом браузере с поддержкой WebGL/WebGPU/WebAssembly. Он также может работать в Baidu Smartprogram и WX miniprogram.
Запустите Kimi K3 локально на процессоре с использованием около 55 ГБ оперативной памяти во время выполнения. Однофайловый сервер логического вывода для Linux на базе cPilot Runtime.
MLX Studio — самый простой способ запускать большие языковые модели на Mac. Универсальный движок.
Python фреймворк для компьютерного зрения и видеоаналитики "все включено"
[MLSys'25] QServe: W4A8KV4 Квантование и совместное проектирование системы для эффективной подачи LLM; [MLSys'25] LServe: Эффективная подача LLM для длинных последовательностей с унифицированным разреженным вниманием
Чистый движок вывода LLM на Rust + CUDA — без PyTorch, совместим с OpenAI, обслуживает от Qwen3 до Kimi-K2
Декодирование LLM на Apple Silicon до 4× быстрее, без потери качества. Нативный порт на MLX спекулятивного декодирования DSpark от DeepSeek и DFlash от z-lab — Gemma-4, Qwen3.8, Muse-Glimmer, Nemotron, LFM2.5, Ornith-1.0 и тернарная Bonsai-27B.
37 ток/с на Qwen3-Next-80B (48 ГБ) на ноутбуке с 32 ГБ памяти; 24 ток/с без черновой генерации против 2,8 у llama.cpp; скорость чтения — 62 против 16 ток/с. Быстрее llama.cpp на всех 13 моделях, сравнивавшихся в Q4_K_M. Запускайте LLM, превышающие объём вашей RAM, на чистом C — на CPU или GPU.
Нативный .NET-движок инференса больших языковых моделей (LLM) и среда выполнения агентов для моделей GGUF. TensorSharp предоставляет консольное приложение, веб-интерфейс чат-бота, приложение для iPhone, а также совместимые с Ollama/OpenAI HTTP API для программного доступа. Поддерживаются Windows, macOS, iOS и Linux с полноценной поддержкой GPU.
Запускайте ИИ-модель размером 105 ГБ на Mac, на котором она не помещается целиком. Qwen3.8-Flash-Next в 4-битном формате загружается потоком с SSD на компьютерах Mac с Apple Silicon и 16–64 ГБ памяти. Полностью нативная реализация на Swift, MLX и Metal. Работает офлайн, без Python. CLI, библиотека Swift и API Ollama/OpenAI/Anthropic. Совместима с Claude Code и Codex.
Еще одна языковая модель: вывод LLM на C++/CUDA, никаких библиотек, кроме ввода-вывода
Общее базовое представление исходного кода Python для pylint и других проектов
Школьный набор, осенний набор, весенний набор, отличные стажировки, поможем вам с нуля реализовать фреймворк для инференса больших моделей с поддержкой Llama2/3 и Qwen2.5.
Быстрый и точный вывод для моделей StartLux-Decision на GPU NVIDIA: опубликованные файлы GGUF работают на тензорных ядрах int8 и 4-битных ядрах через API /v1/systemone, обеспечивая в FP8 задержку до 5,3 раза ниже, чем у vLLM, при побитово идентичных ответах.
От учителя к плиткам — движок дистилляции и обслуживания LLM, созданный с нуля: пользовательские ядра Triton/CUDA, дистилляция FSDP, пакетная обработка с непрерывным KV-кэшированием, спекулятивное декодирование, шлюз на Rust, оракул JAX и инструменты интерпретируемости.
Механизм логического вывода для устройств Intel. Обслуживание моделей LLM, VLM, Whisper, Kokoro-TTS, Embedding и Rerank через эндпоинты OpenAI.
Запускайте несколько ИИ-агентов одновременно на Mac — до 3 раз быстрее.
Krasis — это гибридная среда выполнения LLM, ориентированная на эффективный запуск больших моделей на потребительском оборудовании с ограниченным объемом видеопамяти
Часто задаваемые вопросы
Какой репозиторий по теме #inference-engine наиболее популярен на GitHub?
Самый высоко оценённый проект с открытым исходным кодом по теме #inference-engine на GitHub — huggingface/candle, набравший 21,367 звёзд. Минималистичный ML-фреймворк для Rust
Какие языки программирования чаще всего используются в репозиториях по теме #inference-engine?
Среди наиболее высоко оценённых проектов по теме #inference-engine на GitHub чаще всего используются языки программирования Python, C++, Rust, Go.
Как рассчитывается рейтинг репозиториев по теме #inference-engine?
Мы отслеживаем 40 активных репозиториев с открытым исходным кодом, отмеченных тегом #inference-engine (500 и более звёзд), с общим числом 102,063 звёзд и в среднем 2,551 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.