Git Stars Git Stars

#inference-acceleration 仓库

探索 14 个标记为 #inference-acceleration 的活跃开源 GitHub 仓库,它们累计获得 24,811 个 Star(平均每个项目 1,772 个)。该主题的领先项目是 openai/consistency_models,拥有 6,461 个 Star。

14
仓库总数
24,811
总星标数
1,772
平均每个仓库星标数
编程语言: Python Cuda
1
openai/consistency_models

一致性模型的官方仓库。

openai
⭐ 6,461 Python 👤 openai Organization 🕐 已更新 2024-03-22 📅 创建时间 2023-02-26
2
thu-ml/SageAttention

[ICLR2025, ICML2025, NeurIPS2025 Spotlight] 量化注意力(Quantized Attention)相比 FlashAttention 实现了 2-5 倍的加速,同时在语言、图像和视频模型上没有损失端到端指标。

thu-ml
⭐ 4,017 Cuda 👤 thu-ml Organization 🕐 已更新 2026-01-17 📅 创建时间 2024-10-03
3
thu-ml/TurboDiffusion

TurboDiffusion:视频扩散模型的 100–200 倍加速

thu-ml
⭐ 3,870 Python 👤 thu-ml Organization 🕐 已更新 2026-11-04 📅 创建时间 2025-12-06
4
ali-vilab/TeaCache

时间步长嵌入说:是时候为视频扩散模型进行缓存了

ali-vilab
⭐ 1,333 Python 👤 ali-vilab Organization 🕐 已更新 2025-06-08 📅 创建时间 2024-11-27
5
meta-pytorch/segment-anything-fast

segment-anything 的批量离线推理版本

meta-pytorch
⭐ 1,321 Python 👤 meta-pytorch Organization 🕐 已更新 2025-08-22 📅 创建时间 2023-08-30
6
thu-ml/SpargeAttn

[ICML2025] SpargeAttention:一种无需训练的稀疏注意力机制,可加速任何模型的推理。

thu-ml
⭐ 1,269 Cuda 👤 thu-ml Organization 🕐 已更新 2026-02-25 📅 创建时间 2025-02-25
7
microsoft/MInference

[NeurIPS'24 Spotlight, ICLR'25, ICML'25] 为加速长上下文LLM的推理,近似和动态稀疏计算注意力,可在A100上将预填充的推理延迟降低高达10倍,同时保持准确性。

microsoft
⭐ 1,230 Python 👤 microsoft Organization 🕐 已更新 2026-11-18 📅 创建时间 2024-05-22
8
NVlabs/Fast-dLLM

“Fast-dLLM:通过启用KV缓存和并行解码来训练免费加速Diffusion LLM”的官方实现

NVlabs
⭐ 1,116 Python 👤 NVlabs Organization 🕐 已更新 2026-05-30 📅 创建时间 2025-05-27
9
Alpha-VLLM/Lumina-mGPT-2.0

Lumina-mGPT 2.0:独立式自回归图像建模

Alpha-VLLM
⭐ 1,081 Python 👤 Alpha-VLLM Organization 🕐 已更新 2025-11-03 📅 创建时间 2025-04-03
10
AlibabaResearch/SparkDiffusion

SparkDiffusion:通过联合稀疏化、蒸馏、量化等技术,将 DiT 视频生成速度提升 265 倍

AlibabaResearch
⭐ 750 Python 👤 AlibabaResearch Organization 🕐 已更新 2026-10-26 📅 创建时间 2026-09-18
11
OpenGVLab/DCNv4

[CVPR 2024] 可变形卷积 v4

OpenGVLab
⭐ 695 Python 👤 OpenGVLab Organization 🕐 已更新 2024-05-17 📅 创建时间 2023-12-25
12
pkunlp-icler/FastV

[ECCV 2024 口头报告] 论文代码:在第 2 层之后,一张图像仅值 1/2 个 Token:大型视觉-语言模型的即插即用推理加速

pkunlp-icler
⭐ 579 Python 👤 pkunlp-icler Organization 🕐 已更新 2025-01-04 📅 创建时间 2024-03-11
13
thu-ml/SLA

SLA:通过可微调的稀疏线性注意力超越扩散变换器中的稀疏性

thu-ml
⭐ 553 Python 👤 thu-ml Organization 🕐 已更新 2026-10-18 📅 创建时间 2025-09-25
14
Generated-Computers/Locals

在 Mac 上同时运行多个 AI 智能体,速度最高可提升 3 倍。

Generated-Computers
⭐ 538 Python 👤 Generated-Computers Organization 🕐 已更新 2026-11-21 📅 创建时间 2026-10-12

常见问题解答

1

GitHub 上最受欢迎的 #inference-acceleration 仓库是什么?

GitHub 上排名第一的开源 #inference-acceleration 项目是 openai/consistency_models,拥有 6,461 个 Star。一致性模型的官方仓库。

2

#inference-acceleration 仓库中最常使用的编程语言有哪些?

在 GitHub 上排名靠前的 #inference-acceleration 项目中,最常见的编程语言是 Python, Cuda。

3

#inference-acceleration 仓库的排名是如何计算的?

我们跟踪了 14 个标记为 #inference-acceleration 且拥有 500+ 个 Star 的活跃开源仓库,共计获得 24,811 个 Star,平均每个仓库拥有 1,772 个 Star。排名每日根据 GitHub API 更新。