#inference-optimization Репозитории
Откройте для себя 41 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #inference-optimization, с общим числом 86,309 звёзд (в среднем 2,105 на проект). Лидером этой темы является lllyasviel/stable-diffusion-webui-forge, набравший 12,902 звёзд.
Всего репозиториев: 41
slime — это фреймворк для обучения LLM, предназначенный для масштабирования обучения с подкреплением.
Протестированные в производстве инструменты инфраструктуры ИИ для эффективной разработки AGI и управляемых сообществом инноваций
[EMNLP'23, ACL'24] Чтобы ускорить вывод LLM и улучшить восприятие LLM ключевой информации, сожмите промпт и KV-Cache, что обеспечит сжатие до 20 раз с минимальной потерей производительности.
Qwen3.8 — это серия больших языковых моделей, разработанная командой Qwen компании Alibaba Group.
Быстро обслуживайте большие модели Qwen на тех GPU, которыми вы действительно располагаете. Qwen3.8-27B на одной карте объёмом 24 ГБ с vLLM: 127 ток/с для одного пользователя (381, когда ответ цитирует промпт), около 1 035 ток/с при 64 одновременных запросах, контекст 150k–262k. Патчи для vLLM, конвейер повторной квантизации и бенчмарки.
Высокоэффективные операторы вывода нейронных сетей с плавающей запятой для мобильных устройств, серверов и Интернета
MiMo: Раскрытие потенциала рассуждений языковой модели – от предварительного обучения до пост-обучения
Этот репозиторий содержит вопросы для собеседования по LLM (большая языковая модель), задаваемые в ведущих компаниях, таких как Google, Nvidia, Meta, Microsoft и компаниях из списка Fortune 500.
https://wavespeed.ai/ [WIP] Универсальное, гибкое и быстрое решение для оптимизации инференса "все в одном" для ComfyUI.
Руководство, показывающее, как настроить API Object Detection TensorFlow на Raspberry Pi
Рецепты для масштабирования вычислений в момент вывода открытых моделей
Список статей о некоторых недавних работах по сжатию токенов для Vit и VLM
Модель видео-основы отраслевого уровня для унифицированной генерации видео из текста (T2V) и из изображений (I2V).
BladeDISC — это комплексный проект компилятора динамических форм для рабочих нагрузок машинного обучения.
Omni SenseVoice: Высокоскоростное распознавание речи с временными метками слов 🗣️🎯
Расширение для stable-diffusion-webui для загрузки моделей lycoris.
Практическое изучение алгоритмов и систем LLM с PyTorch, Triton и CUDA. «Руководство по алгоритмам и системам LLM»: архитектуры моделей и обучение, постобучение, ускорение инференса, оптимизация производительности и операторов; включает задания в Notebook, разбор ответов, тесты и эксперименты.
Cline с китайской локализацией, Cline — это автономный помощник по программированию, работающий в вашей IDE, который с вашего разрешения может создавать/редактировать файлы, запускать команды, использовать браузер и другие функции.
Krasis — это гибридная среда выполнения LLM, ориентированная на эффективный запуск больших моделей на потребительском оборудовании с ограниченным объемом видеопамяти
Изучайте инженерию инференса LLM шаг за шагом: от KV-кэша, PagedAttention и непрерывной пакетной обработки до vLLM, SGLang и GPU.
[ICLR 2024 Spotlight] Официальная реализация ScaleCrafter для генерации изображений с более высоким разрешением во время инференса.
Часто задаваемые вопросы
Какой репозиторий по теме #inference-optimization наиболее популярен на GitHub?
Самый высоко оценённый проект с открытым исходным кодом по теме #inference-optimization на GitHub — lllyasviel/stable-diffusion-webui-forge, набравший 12,902 звёзд.
Какие языки программирования чаще всего используются в репозиториях по теме #inference-optimization?
Среди наиболее высоко оценённых проектов по теме #inference-optimization на GitHub чаще всего используются языки программирования Python, Jupyter Notebook, C++, C.
Как рассчитывается рейтинг репозиториев по теме #inference-optimization?
Мы отслеживаем 41 активных репозиториев с открытым исходным кодом, отмеченных тегом #inference-optimization (500 и более звёзд), с общим числом 86,309 звёзд и в среднем 2,105 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.