#llm-serving 仓库
探索 44 个标记为 #llm-serving 的活跃开源 GitHub 仓库,它们累计获得 381,346 个 Star(平均每个项目 8,666 个)。该主题的领先项目是 vllm-project/vllm,拥有 97,302 个 Star。
共 44 个仓库
TensorRT LLM 为用户提供了一个易于使用的 Python API 来定义大型语言模型(LLM),并支持最先进的优化,以便在 NVIDIA GPU 上高效执行推理。TensorRT LLM 还包含用于创建 Python 和 C++ 运行时的组件,这些运行时以高性能的方式协调推理执行。
《深入理解 AI Infra:量化分析与系统设计》(李博杰 著)开源书稿:从硬件约束和模型架构出发,量化推导 LLM 推理与训练系统设计。含全书正文、PDF、配套计算工具与实验
面向 AWS Trainium 的开源大语言模型推理引擎:NKI mega kernel、100 万 token 上下文、兼容 OpenAI 的 API。由 RunAnywhere 打造。
本地推理,体验媲美前沿 API:在 AMD Strix Halo 上运行 Qwen3.8-Flash-Next 和小型 NPU 模型,通过同一端口提供 OpenAI 和 Anthropic API。
[NeurIPS'24 Spotlight, ICLR'25, ICML'25] 为加速长上下文LLM的推理,近似和动态稀疏计算注意力,可在A100上将预填充的推理延迟降低高达10倍,同时保持准确性。
[MLSys'25] QServe: 针对高效 LLM 推理的 W4A8KV4 量化与系统协同设计;[MLSys'25] LServe: 使用统一稀疏注意力实现高效长序列 LLM 推理
在免费的 Kaggle TPU v5e-8 上运行前沿级开源模型:GLM-5.3-Flash 320B MoE(约 165 token/秒,采用我们自研的 JAX 引擎)和 Qwen3.8-27B bf16(约 130 token/秒),支持 262K 上下文和前缀缓存。可与 Claude Code、Codex、opencode 和 pi 配合使用。
纯 Rust + CUDA 的 LLM 推理引擎——无需 PyTorch,兼容 OpenAI,支持从 Qwen3 到 Kimi-K2 的模型
常见问题解答
GitHub 上最受欢迎的 #llm-serving 仓库是什么?
GitHub 上排名第一的开源 #llm-serving 项目是 vllm-project/vllm,拥有 97,302 个 Star。用于LLM的高吞吐量和内存高效的推理与服务引擎
#llm-serving 仓库中最常使用的编程语言有哪些?
在 GitHub 上排名靠前的 #llm-serving 项目中,最常见的编程语言是 Python, Jupyter Notebook, Rust, C++。
#llm-serving 仓库的排名是如何计算的?
我们跟踪了 44 个标记为 #llm-serving 且拥有 500+ 个 Star 的活跃开源仓库,共计获得 381,346 个 Star,平均每个仓库拥有 8,666 个 Star。排名每日根据 GitHub API 更新。