Git Stars Git Stars

#inference-optimization 仓库

探索 41 个标记为 #inference-optimization 的活跃开源 GitHub 仓库,它们累计获得 86,309 个 Star(平均每个项目 2,105 个)。该主题的领先项目是 lllyasviel/stable-diffusion-webui-forge,拥有 12,902 个 Star。

41
仓库总数
86,309
总星标数
2,105
平均每个仓库星标数
2
THUDM/slime

slime 是一个用于强化学习规模化的 LLM 训练框架。

THUDM
⭐ 8,856 Python 👤 THUDM Organization 🕐 已更新 2026-11-05 📅 创建时间 2025-06-18
3
deepseek-ai/open-infra-index

用于高效AGI开发和社区驱动创新的生产测试AI基础设施工具

deepseek-ai
⭐ 8,007 👤 deepseek-ai Organization 🕐 已更新 2025-05-15 📅 创建时间 2025-02-21
4
microsoft/LLMLingua

[EMNLP'23, ACL'24] 为了加速 LLM 的推理并增强 LLM 对关键信息的感知能力,压缩提示(prompt)和 KV-Cache,可实现高达 20 倍的压缩率,同时将性能损失降至最低。

microsoft
⭐ 6,846 Python 👤 microsoft Organization 🕐 已更新 2026-11-09 📅 创建时间 2023-07-07
5
QwenLM/Qwen3.8

Qwen3.8 是由阿里巴巴集团通义千问团队开发的大语言模型系列。

QwenLM
⭐ 4,459 👤 QwenLM Organization 🕐 已更新 2026-08-17 📅 创建时间 2025-09-11
7
syv-ai/HyperQwen

在你实际拥有的 GPU 上快速部署大型 Qwen 模型。使用 vLLM 在单张 24 GB 显卡上运行 Qwen3.8-27B:单用户 127 token/秒(答案引用提示词时为 381 token/秒),64 路并发时约 1,035 token/秒,支持 150k–262k 上下文。vLLM 补丁、重新量化流程与基准测试。

syv-ai
⭐ 2,778 Python 👤 syv-ai Organization 🕐 已更新 2026-11-10 📅 创建时间 2026-08-15
8
google/XNNPACK

面向移动、服务器和 Web 的高效率浮点神经网络推理运算符

google
⭐ 2,506 C 👤 google Organization 🕐 已更新 2026-11-21 📅 创建时间 2019-09-13
9
XiaomiMiMo/MiMo

MiMo:解锁语言模型的推理潜力——从预训练到后训练

XiaomiMiMo
⭐ 2,411 Python 👤 XiaomiMiMo Organization 🕐 已更新 2026-10-29 📅 创建时间 2025-04-26
10
AmberLJC/LLMSys-PaperList

大语言模型(LLM)系统论文列表

AmberLJC
⭐ 2,332 Python 👤 AmberLJC User 🕐 已更新 2026-10-20 📅 创建时间 2023-06-06
11
facebookresearch/blt

BLT研究论文代码

facebookresearch
⭐ 2,070 Python 👤 facebookresearch Organization 🕐 已更新 2025-11-03 📅 创建时间 2024-12-09
12
NUS-HPC-AI-Lab/VideoSys

VideoSys:一个简单高效的视频生成系统

NUS-HPC-AI-Lab
⭐ 2,022 Python 👤 NUS-HPC-AI-Lab Organization 🕐 已更新 2025-08-27 📅 创建时间 2024-02-17
13
NVIDIA/Stable-Diffusion-WebUI-TensorRT

Stable Diffusion Web UI 的 TensorRT 扩展

NVIDIA
⭐ 1,994 Python 👤 NVIDIA Organization 🕐 已更新 2024-06-14 📅 创建时间 2023-10-10
14
ChenyangSi/FreeU

FreeU:Diffusion U-Net中的免费午餐(CVPR2024口头报告)

ChenyangSi
⭐ 1,892 👤 ChenyangSi User 🕐 已更新 2024-12-24 📅 创建时间 2023-09-14
15
llmgenai/LLMInterviewQuestions

该存储库包含在Google、Nvidia、Meta、Microsoft和财富500强公司等顶级公司中提出的LLM(大型语言模型)面试问题。

llmgenai
⭐ 1,781 👤 llmgenai User 🕐 已更新 2025-02-12 📅 创建时间 2024-12-26
16
chengzeyi/Comfy-WaveSpeed

https://wavespeed.ai/ [WIP] ComfyUI 的一体化推理优化解决方案,通用、灵活、快速。

chengzeyi
⭐ 1,235 Python 👤 chengzeyi User 🕐 已更新 2026-08-21 📅 创建时间 2024-11-27
17
EdjeElectronics/TensorFlow-Object-Detection-on-the-Raspberry-Pi

一个展示如何在 Raspberry Pi 上设置 TensorFlow 对象检测 API 的教程

EdjeElectronics
⭐ 1,156 Python 👤 EdjeElectronics User 🕐 已更新 2024-08-10 📅 创建时间 2018-06-05
18
gpu-mode/awesomeMLSys

ML系统入职列表

gpu-mode
⭐ 1,154 👤 gpu-mode Organization 🕐 已更新 2026-02-19 📅 创建时间 2024-05-06
19
huggingface/search-and-learn

扩展开放模型推理时间计算的方案

huggingface
⭐ 1,134 Python 👤 huggingface Organization 🕐 已更新 2026-09-23 📅 创建时间 2024-12-09
21
allenai/OLMoE

OLMoE: 开放式专家混合语言模型

allenai
⭐ 1,087 Jupyter Notebook 👤 allenai Organization 🕐 已更新 2025-09-23 📅 创建时间 2024-06-22
22
onnx/onnx-mlir

MLIR 编译器基础设施中 ONNX 模型的表示和引用降低

onnx
⭐ 1,072 MLIR 👤 onnx Organization 🕐 已更新 2026-11-13 📅 创建时间 2020-02-18
23
mryab/efficient-dl-systems

高效深度学习系统课程材料

mryab
⭐ 1,052 Jupyter Notebook 👤 mryab User 🕐 已更新 2026-05-28 📅 创建时间 2021-12-06
24
hzwer/Practical-RIFE

更实用的帧插值方法。

hzwer
⭐ 1,050 Python 👤 hzwer User 🕐 已更新 2026-08-27 📅 创建时间 2021-06-16
25
daixiangzi/Awesome-Token-Compress

一份关于Vit和VLM的Token Compress的近期工作论文列表

daixiangzi
⭐ 966 👤 daixiangzi User 🕐 已更新 2026-11-13 📅 创建时间 2024-09-06
26
FoundationVision/Waver

面向统一文本到视频(T2V)和图像到视频(I2V)生成的行业级视频基础模型。

FoundationVision
⭐ 952 👤 FoundationVision Organization 🕐 已更新 2025-08-27 📅 创建时间 2025-08-05
27
alibaba/BladeDISC

BladeDISC 是一个面向机器学习工作负载的端到端动态形状编译器项目。

alibaba
⭐ 911 C++ 👤 alibaba Organization 🕐 已更新 2024-12-30 📅 创建时间 2021-12-20
28
lifeiteng/OmniSenseVoice

Omni SenseVoice:带有单词时间戳的高速语音识别 🗣️🎯

lifeiteng
⭐ 897 Python 👤 lifeiteng User 🕐 已更新 2025-12-10 📅 创建时间 2024-09-22
29
KohakuBlueleaf/a1111-sd-webui-lycoris

stable-diffusion-webui 的一个扩展,用于加载 lycoris 模型。

KohakuBlueleaf
⭐ 894 Python 👤 KohakuBlueleaf User 🕐 已更新 2024-02-16 📅 创建时间 2023-04-09
30
aiola-lab/whisper-medusa

与蛇发女妖的头颅耳语

aiola-lab
⭐ 860 Python 👤 aiola-lab Organization 🕐 已更新 2026-07-02 📅 创建时间 2024-07-17
31
datawhalechina/llm-algo-leetcode

使用 PyTorch、Triton 和 CUDA 实践大模型算法与系统。《大模型算法与系统教程》涵盖模型架构与训练、后训练、推理加速、性能与算子优化,并配套 Notebook 练习、答案解析、测试与实验。

datawhalechina
⭐ 811 Jupyter Notebook 👤 datawhalechina Organization 🕐 已更新 2026-11-16 📅 创建时间 2026-04-01
32
tensorflow/runtime

TensorFlow 的高性能模块化运行时

tensorflow
⭐ 754 C++ 👤 tensorflow Organization 🕐 已更新 2025-09-04 📅 创建时间 2020-04-24
33
IEIT-Yuan/Yuan-2.0

Yuan 2.0 大语言模型

IEIT-Yuan
⭐ 689 Python 👤 IEIT-Yuan Organization 🕐 已更新 2024-07-11 📅 创建时间 2023-11-26
34
microsoft/VPTQ

VPTQ,一种灵活且极低比特的量化算法

microsoft
⭐ 683 Python 👤 microsoft Organization 🕐 已更新 2026-08-04 📅 创建时间 2024-08-13
36
HybridTalentComputing/cline-chinese

Cline中文汉化版,Cline是一款在您的 IDE 中运行的自主编程助手,经您许可后可以创建/编辑文件、运行命令、使用浏览器等功能。

HybridTalentComputing
⭐ 660 TypeScript 👤 HybridTalentComputing User 🕐 已更新 2026-07-14 📅 创建时间 2025-02-07
38
HazyResearch/aisys-building-blocks

基础模型的构建块。

HazyResearch
⭐ 587 👤 HazyResearch Organization 🕐 已更新 2024-01-03 📅 创建时间 2023-11-30
39
brontoguana/krasis

Krasis 是一个混合型 LLM 运行时,专注于在显存受限的消费级硬件上高效运行大型模型

brontoguana
⭐ 530 C++ 👤 brontoguana User 🕐 已更新 2026-11-12 📅 创建时间 2026-02-09
40
amitshekhariitbhu/llm-inference-engineering

循序渐进地学习大语言模型推理工程:从 KV 缓存、PagedAttention 和连续批处理,到 vLLM、SGLang 和 GPU。

amitshekhariitbhu
⭐ 523 Markdown 👤 amitshekhariitbhu User 🕐 已更新 2026-11-09 📅 创建时间 2026-08-18
41
YingqingHe/ScaleCrafter

[ICLR 2024 Spotlight] ScaleCrafter 的官方实现,用于在推理时进行更高分辨率的视觉生成。

YingqingHe
⭐ 508 Python 👤 YingqingHe User 🕐 已更新 2024-03-07 📅 创建时间 2023-10-07

常见问题解答

1

GitHub 上最受欢迎的 #inference-optimization 仓库是什么?

GitHub 上排名第一的开源 #inference-optimization 项目是 lllyasviel/stable-diffusion-webui-forge,拥有 12,902 个 Star。

2

#inference-optimization 仓库中最常使用的编程语言有哪些?

在 GitHub 上排名靠前的 #inference-optimization 项目中,最常见的编程语言是 Python, Jupyter Notebook, C++, C。

3

#inference-optimization 仓库的排名是如何计算的?

我们跟踪了 41 个标记为 #inference-optimization 且拥有 500+ 个 Star 的活跃开源仓库,共计获得 86,309 个 Star,平均每个仓库拥有 2,105 个 Star。排名每日根据 GitHub API 更新。