#model-serving 仓库
探索 51 个标记为 #model-serving 的活跃开源 GitHub 仓库,它们累计获得 211,758 个 Star(平均每个项目 4,152 个)。该主题的领先项目是 vllm-project/vllm,拥有 97,302 个 Star。
共 51 个仓库
在您的 k8s 上,以类型安全的方式分布式编排智能体、机器学习流水线和实时推理——使用纯 Python 和 async/await,也支持其他语言(Rust、Go 和 TypeScript)
🚀 机器学习超级系统 ⚡️ AI 系统论文和行业实践。 ⚡️ 机器学习系统,LLM(大语言模型),GenAI(生成式 AI)。 🍻 OSDI, NSDI, SIGCOMM, SoCC, MLSys 等。 🗃️ Llama3, Mistral 等。 🧑💻 视频教程。
FEDML - 面向大规模分布式训练、模型服务和联邦学习的统一且可扩展的机器学习库。跨云调度器 FEDML Launch 进一步支持在任何 GPU 云或本地集群上运行任何 AI 作业。基于该库构建的 TensorOpera AI (https://TensorOpera.ai) 是您的规模化生成式 AI 平台。
MLRun 是一个开源 MLOps 平台,可快速构建和管理整个生命周期的连续 ML 应用程序。MLRun 集成到您的开发和 CI/CD 环境中,并自动化生产数据、ML 管道和在线应用程序的交付。
兼容 Jev 的开放决策模型 API 服务器。面向决策模型的 Ollama:可在本地拉取并运行 29 个模型系列(Laya、pplx-decider、Clef、Winnow、coba……),也可通过 /v1/systemone 自托管。TypeSafe SDK 无需任何改动即可使用:设置基础 URL 并选择一个开放模型。提供 CLI、桌面应用、Docker、MCP 服务器和公开基准测试。
纯 Rust + CUDA 的 LLM 推理引擎——无需 PyTorch,兼容 OpenAI,支持从 Qwen3 到 Kimi-K2 的模型
Ollama 用于经典 ML 模型。AOT 编译器,将 XGBoost、LightGBM、scikit-learn、CatBoost 和 ONNX 模型转换为原生 C99 推理代码。加载一条命令,服务一条命令。比 Python 推理快 336 倍。
常见问题解答
GitHub 上最受欢迎的 #model-serving 仓库是什么?
GitHub 上排名第一的开源 #model-serving 项目是 vllm-project/vllm,拥有 97,302 个 Star。用于LLM的高吞吐量和内存高效的推理与服务引擎
#model-serving 仓库中最常使用的编程语言有哪些?
在 GitHub 上排名靠前的 #model-serving 项目中,最常见的编程语言是 Python, Go, Rust, Jupyter Notebook。
#model-serving 仓库的排名是如何计算的?
我们跟踪了 51 个标记为 #model-serving 且拥有 500+ 个 Star 的活跃开源仓库,共计获得 211,758 个 Star,平均每个仓库拥有 4,152 个 Star。排名每日根据 GitHub API 更新。