#llm-inference 仓库
探索 202 个标记为 #llm-inference 的活跃开源 GitHub 仓库,它们累计获得 1,046,424 个 Star(平均每个项目 5,180 个)。该主题的领先项目是 deepseek-ai/DeepSeek-V3,拥有 104,417 个 Star。
共 202 个仓库
一个拥有 2.78 万亿参数的 Kimi K3 模型,在单核 CPU 和 8.24 GB 内存下运行推理。可移植 C99 代码:无 BLAS,无框架,无 GPU。
《深入理解 AI Infra:量化分析与系统设计》(李博杰 著)开源书稿:从硬件约束和模型架构出发,量化推导 LLM 推理与训练系统设计。含全书正文、PDF、配套计算工具与实验
Lemonade 通过直接从用户自己的 GPU 和 NPU 提供优化的 LLM,帮助用户发现和运行本地 AI 应用。加入我们的 Discord:https://discord.gg/5xXzkMu8Zk
⚡ 纯 Rust 编写的 WebGPU 推理引擎 — 兼容 OpenAI API,原生支持 GGUF,可在任何 GPU 上运行。无需 Python。无需 llama.cpp。单一二进制文件。
📚精选的超棒 LLM/VLM 推理论文及代码列表:Flash-Attention、Paged-Attention、WINT8/4、并行化等。🎉
常见问题解答
GitHub 上最受欢迎的 #llm-inference 仓库是什么?
GitHub 上排名第一的开源 #llm-inference 项目是 deepseek-ai/DeepSeek-V3,拥有 104,417 个 Star。
#llm-inference 仓库中最常使用的编程语言有哪些?
在 GitHub 上排名靠前的 #llm-inference 项目中,最常见的编程语言是 Python, C++, Rust, Go。
#llm-inference 仓库的排名是如何计算的?
我们跟踪了 202 个标记为 #llm-inference 且拥有 500+ 个 Star 的活跃开源仓库,共计获得 1,046,424 个 Star,平均每个仓库拥有 5,180 个 Star。排名每日根据 GitHub API 更新。