#inference-acceleration Репозитории
Откройте для себя 14 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #inference-acceleration, с общим числом 24,811 звёзд (в среднем 1,772 на проект). Лидером этой темы является openai/consistency_models, набравший 6,461 звёзд.
Всего репозиториев: 14
[ICLR2025, ICML2025, NeurIPS2025 Spotlight] Квантованное внимание (Quantized Attention) обеспечивает ускорение в 2–5 раз по сравнению с FlashAttention, не снижая сквозных (end-to-end) метрик для языковых, графических и видеомоделей.
Встраивания временных шагов рассказывают: пришло время кэшировать для модели видеодиффузии
Версия segment-anything, ориентированная на пакетную офлайн-инференцию
[ICML2025] SpargeAttention: Обучаемая разреженная модель внимания, ускоряющая вывод любых моделей.
[NeurIPS'24 Spotlight, ICLR'25, ICML'25] Чтобы ускорить вывод Long-context LLMs, аппроксимированныйи и динамический разреженный расчет внимания снижает задержку вывода до 10 раз при предварительном заполнении на A100, сохраняя точность.
Официальная реализация "Fast-dLLM: Бесплатное ускорение LLM диффузии путем включения KV-кэша и параллельного декодирования"
Lumina-mGPT 2.0: Автономное авторегрессионное моделирование изображений
SparkDiffusion: ускорение генерации видео DiT в 265 раз за счёт совместного применения разреживания, дистилляции, квантования и других методов
[ECCV 2024 Устный доклад] Код статьи: Изображение стоит 1/2 токена после слоя 2: Ускорение вывода в режиме plug-and-play для больших визуально-языковых моделей
SLA: За пределами разреженности в диффузионных трансформерах с помощью тонко настраиваемого разреженно-линейного внимания
Запускайте несколько ИИ-агентов одновременно на Mac — до 3 раз быстрее.
Часто задаваемые вопросы
Какой репозиторий по теме #inference-acceleration наиболее популярен на GitHub?
Самый высоко оценённый проект с открытым исходным кодом по теме #inference-acceleration на GitHub — openai/consistency_models, набравший 6,461 звёзд. Официальный репозиторий для моделей согласованности.
Какие языки программирования чаще всего используются в репозиториях по теме #inference-acceleration?
Среди наиболее высоко оценённых проектов по теме #inference-acceleration на GitHub чаще всего используются языки программирования Python, Cuda.
Как рассчитывается рейтинг репозиториев по теме #inference-acceleration?
Мы отслеживаем 14 активных репозиториев с открытым исходным кодом, отмеченных тегом #inference-acceleration (500 и более звёзд), с общим числом 24,811 звёзд и в среднем 1,772 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.