#inference-optimization 仓库
探索 41 个标记为 #inference-optimization 的活跃开源 GitHub 仓库,它们累计获得 86,309 个 Star(平均每个项目 2,105 个)。该主题的领先项目是 lllyasviel/stable-diffusion-webui-forge,拥有 12,902 个 Star。
共 41 个仓库
[EMNLP'23, ACL'24] 为了加速 LLM 的推理并增强 LLM 对关键信息的感知能力,压缩提示(prompt)和 KV-Cache,可实现高达 20 倍的压缩率,同时将性能损失降至最低。
在你实际拥有的 GPU 上快速部署大型 Qwen 模型。使用 vLLM 在单张 24 GB 显卡上运行 Qwen3.8-27B:单用户 127 token/秒(答案引用提示词时为 381 token/秒),64 路并发时约 1,035 token/秒,支持 150k–262k 上下文。vLLM 补丁、重新量化流程与基准测试。
该存储库包含在Google、Nvidia、Meta、Microsoft和财富500强公司等顶级公司中提出的LLM(大型语言模型)面试问题。
一个展示如何在 Raspberry Pi 上设置 TensorFlow 对象检测 API 的教程
使用 PyTorch、Triton 和 CUDA 实践大模型算法与系统。《大模型算法与系统教程》涵盖模型架构与训练、后训练、推理加速、性能与算子优化,并配套 Notebook 练习、答案解析、测试与实验。
Cline中文汉化版,Cline是一款在您的 IDE 中运行的自主编程助手,经您许可后可以创建/编辑文件、运行命令、使用浏览器等功能。
循序渐进地学习大语言模型推理工程:从 KV 缓存、PagedAttention 和连续批处理,到 vLLM、SGLang 和 GPU。
常见问题解答
GitHub 上最受欢迎的 #inference-optimization 仓库是什么?
GitHub 上排名第一的开源 #inference-optimization 项目是 lllyasviel/stable-diffusion-webui-forge,拥有 12,902 个 Star。
#inference-optimization 仓库中最常使用的编程语言有哪些?
在 GitHub 上排名靠前的 #inference-optimization 项目中,最常见的编程语言是 Python, Jupyter Notebook, C++, C。
#inference-optimization 仓库的排名是如何计算的?
我们跟踪了 41 个标记为 #inference-optimization 且拥有 500+ 个 Star 的活跃开源仓库,共计获得 86,309 个 Star,平均每个仓库拥有 2,105 个 Star。排名每日根据 GitHub API 更新。