Git Stars Git Stars

#llmops 仓库

探索 111 个标记为 #llmops 的活跃开源 GitHub 仓库,它们累计获得 716,901 个 Star(平均每个项目 6,458 个)。该主题的领先项目是 BerriAI/litellm,拥有 63,649 个 Star。

111
仓库总数
716,901
总星标数
6,458
平均每个仓库星标数

共 111 个仓库

1
BerriAI/litellm

最快、最轻的AI网关。采用Rust核心与Python SDK。以OpenAI(或原生)格式调用100多个LLM API,支持成本追踪、防护栏、负载均衡和日志记录 [Bedrock、Azure、OpenAI、Anthropic、OpenAI、VertexAI、vLLM、Nvidia NIM]

BerriAI
⭐ 63,649 Python 👤 BerriAI Organization 🕐 已更新 2026-11-21 📅 创建时间 2023-07-27
2
GokuMohandas/Made-With-ML

学习如何开发、部署和迭代生产级 ML 应用程序。

GokuMohandas
⭐ 50,112 Jupyter Notebook 👤 GokuMohandas User 🕐 已更新 2026-03-04 📅 创建时间 2018-11-05
3
langfuse/langfuse

🪢 开源 AI 工程平台:基于 OpenTelemetry 构建,提供 AI 网关、智能体可观测性、评估以及提示词/技能管理。一个开放平台,覆盖每一次 AI 调用和每一个智能体。可自行托管,也可使用 Langfuse Cloud。

langfuse
⭐ 37,696 TypeScript 👤 langfuse Organization 🕐 已更新 2026-11-21 📅 创建时间 2023-05-18
4
ComposioHQ/composio

Composio 为超过1000个工具包、工具搜索、上下文管理、身份验证以及一个沙盒式工作台提供支持,帮助您构建将意图转化为行动的AI代理。

ComposioHQ
⭐ 31,218 TypeScript 👤 ComposioHQ Organization 🕐 已更新 2026-11-21 📅 创建时间 2024-02-23
5
mlflow/mlflow

开源AI工程平台,适用于代理、大语言模型(LLMs)和机器学习模型。MLflow使各种规模的团队能够调试、评估、监控和优化生产级AI应用,同时控制成本并管理对模型和数据的访问。

mlflow
⭐ 28,920 Python 👤 mlflow Organization 🕐 已更新 2026-11-21 📅 创建时间 2018-06-05
6
promptfoo/promptfoo

测试您的提示词、智能体和 RAG。针对人工智能的红队测试/渗透测试/漏洞扫描。比较 GPT、Claude、Gemini、DeepSeek 等模型的性能。支持命令行和 CI/CD 集成的简单声明式配置。已被 OpenAI 和 Anthropic 使用。

promptfoo
⭐ 27,516 TypeScript 👤 promptfoo Organization 🕐 已更新 2026-11-21 📅 创建时间 2023-04-28
7
liguodongiot/llm-action

本项目旨在分享大模型相关技术原理以及实战经验(大模型工程化、大模型应用落地)

liguodongiot
⭐ 25,297 HTML 👤 liguodongiot User 🕐 已更新 2026-10-14 📅 创建时间 2023-05-23
8
comet-ml/opik

通过全面的追踪、自动化评估和生产级仪表板,对您的 LLM 应用程序、RAG 系统和代理工作流进行调试、评估和监控。

comet-ml
⭐ 23,479 Java 👤 comet-ml Organization 🕐 已更新 2026-11-21 📅 创建时间 2023-05-10
9
dipakkr/awesome-ai-engineering

🚀 精选 AI 工程资源、学习路线图、工具和项目,涵盖 LLM、RAG、AI 智能体、MCP、微调、评估以及生产级 AI 系统。

dipakkr
⭐ 22,611 👤 dipakkr User 🕐 已更新 2026-10-21 📅 创建时间 2018-09-17
10
jina-ai/serve

☁️ 使用云原生堆栈构建多模态 AI 应用程序

jina-ai
⭐ 21,864 Python 👤 jina-ai Organization 🕐 已更新 2025-03-24 📅 创建时间 2020-02-13
11
rocketride-org/rocketride-server

RocketRide 是一个开源 AI 元框架,拥有唯一基于 C++ 构建的企业级运行时。构建、测试并发布可在生产环境中规模化运行的持久化智能体。

rocketride-org
⭐ 20,003 Python 👤 rocketride-org Organization 🕐 已更新 2026-11-21 📅 创建时间 2026-02-11
12
TransformerOptimus/SuperAGI

<⚡️> SuperAGI - 一个以开发者为先的开源自主 AI 代理框架。使开发人员能够快速可靠地构建、管理和运行有用的自主代理。

TransformerOptimus
⭐ 17,556 Python 👤 TransformerOptimus Organization 🕐 已更新 2025-01-22 📅 创建时间 2023-05-13
13
vibrantlabsai/ragas

为您的 LLM 应用评估注入超能力 🚀

vibrantlabsai
⭐ 16,395 Python 👤 vibrantlabsai Organization 🕐 已更新 2026-11-14 📅 创建时间 2023-05-08
14
raga-ai-hub/RagaAI-Catalyst

Agent AI 可观测性、监控和评估框架的 Python SDK。包括代理、llm 和工具跟踪、多代理系统调试、自托管仪表板以及具有时间线和执行图视图的高级分析等功能。

raga-ai-hub
⭐ 16,193 Python 👤 raga-ai-hub Organization 🕐 已更新 2026-02-11 📅 创建时间 2024-08-26
15
Portkey-AI/gateway

闪电般快速的AI网关,集成护栏。路由至1,600+ LLM,50+ AI护栏,仅需1个快速友好的API。

Portkey-AI
⭐ 13,424 TypeScript 👤 Portkey-AI Organization 🕐 已更新 2026-11-20 📅 创建时间 2023-08-23
16
bentoml/OpenLLM

在云端将 DeepSeek 和 Llama 等任何开源 LLM 作为 OpenAI 兼容的 API 端点运行。

bentoml
⭐ 12,610 Python 👤 bentoml Organization 🕐 已更新 2026-11-16 📅 创建时间 2023-04-19
17
dataelement/bisheng

BISHENG 是一个开源企业级 Agent 平台,用于构建、部署和管理 AI 应用。它将 AI Agent、工作流、RAG 与知识管理、桌面 Agent 集成以及 vibecoding 应用托管,与统一的模型管理、评估、可观测性、访问控制和企业管理功能相结合。

dataelement
⭐ 12,391 Python 👤 dataelement Organization 🕐 已更新 2026-11-21 📅 创建时间 2023-08-28
18
Arize-ai/phoenix

AI 可观测性与评估

Arize-ai
⭐ 12,368 Python 👤 Arize-ai Organization 🕐 已更新 2026-11-21 📅 创建时间 2022-11-09
19
tensorzero/tensorzero

TensorZero 是一个开源的 LLMOps 平台,它统一了 LLM 网关、可观测性、评估、优化和实验功能。

tensorzero
⭐ 11,456 Rust 👤 tensorzero Organization 🕐 已更新 2026-06-11 📅 创建时间 2024-07-16
20
MakazhanAlpamys/Soup

从一个YAML微调LLM。层流式传输在4 GB笔记本GPU上训练8B模型。

MakazhanAlpamys
⭐ 10,703 Python 👤 MakazhanAlpamys User 🕐 已更新 2026-11-21 📅 创建时间 2026-02-20
21
Netflix/metaflow

构建、管理和部署 AI/ML 系统

Netflix
⭐ 10,355 Python 👤 Netflix Organization 🕐 已更新 2026-11-19 📅 创建时间 2019-09-17
22
0xPlaygrounds/rig

⚙️🦀 用 Rust 构建模块化和可扩展的 LLM 应用程序

0xPlaygrounds
⭐ 9,209 Rust 👤 0xPlaygrounds Organization 🕐 已更新 2026-11-20 📅 创建时间 2024-06-05
23
bentoml/BentoML

提供 AI 应用和模型的最简单方式 - 构建模型推理 API、工作队列、LLM 应用、多模型管道等!

bentoml
⭐ 8,944 Python 👤 bentoml Organization 🕐 已更新 2026-11-17 📅 创建时间 2019-04-02
24
evidentlyai/evidently

Evidently 是一个开源的 ML 和 LLM 可观测性框架。评估、测试和监控任何 AI 驱动的系统或数据管道。从表格数据到生成式 AI。100+ 指标。

evidentlyai
⭐ 8,073 Jupyter Notebook 👤 evidentlyai Organization 🕐 已更新 2026-09-29 📅 创建时间 2020-11-25
25
traceloop/openllmetry

基于 OpenTelemetry 的 GenAI 或 LLM 应用的开源可观测性

traceloop
⭐ 7,546 Python 👤 traceloop Organization 🕐 已更新 2026-11-19 📅 创建时间 2023-09-02
26
katanemo/plano

Plano 是一个面向智能体应用的AI原生代理服务器和数据平面。提供智能LLM路由、可观测性、智能体编排和安全护栏,让您专注于智能体的核心逻辑。

katanemo
⭐ 7,118 Rust 👤 katanemo Organization 🕐 已更新 2026-10-24 📅 创建时间 2024-07-09
27
clearml/clearml

ClearML - 自动神奇的 CI/CD 来简化您的 AI 工作负载。实验管理、数据管理、管道、编排、调度和服务在一个 MLOps/LLMOps 解决方案中

clearml
⭐ 6,943 Python 👤 clearml Organization 🕐 已更新 2026-11-03 📅 创建时间 2019-06-10
28
GoogleCloudPlatform/agent-starter-pack

在数分钟而非数月内,将 AI 代理部署到 Google Cloud。生产就绪的模板,内置 CI/CD、评估和可观测性。

GoogleCloudPlatform
⭐ 6,575 Python 👤 GoogleCloudPlatform Organization 🕐 已更新 2026-07-21 📅 创建时间 2025-01-31
29
Helicone/helicone

🧊 开源 LLM 可观测性平台。一行代码即可进行监控、评估和实验。YC W23 🍓

Helicone
⭐ 6,292 TypeScript 👤 Helicone Organization 🕐 已更新 2026-11-17 📅 创建时间 2023-01-31
30
tensorchord/Awesome-LLMOps

开发者精选的最佳 LLMOps 工具列表

tensorchord
⭐ 5,979 Shell 👤 tensorchord Organization 🕐 已更新 2026-11-16 📅 创建时间 2022-04-15
31
Giskard-AI/giskard-oss

🐢 面向 LLM 智能体的开源评估与测试库

Giskard-AI
⭐ 5,965 Python 👤 Giskard-AI Organization 🕐 已更新 2026-11-20 📅 创建时间 2022-03-06
32
coze-dev/coze-loop

下一代AI代理优化平台:Cozeloop通过提供从开发、调试、评估到监控的全生命周期管理能力,解决了AI代理开发中的挑战。

coze-dev
⭐ 5,799 Go 👤 coze-dev Organization 🕐 已更新 2026-11-17 📅 创建时间 2025-06-24
33
zenml-io/zenml

ZenML 🙏:一个AI平台,涵盖从管道到智能体的全过程。 https://zenml.io.

zenml-io
⭐ 5,636 Python 👤 zenml-io Organization 🕐 已更新 2026-11-20 📅 创建时间 2020-11-19
34
PacktPublishing/LLM-Engineers-Handbook

LLM 实战指南:从基础知识到在 AWS 上部署高级 LLM 和 RAG 应用,遵循 LLMOps 最佳实践

PacktPublishing
⭐ 5,438 Python 👤 PacktPublishing Organization 🕐 已更新 2026-04-22 📅 创建时间 2024-04-09
35
superduper-io/superduper

Superduper:用于构建自定义 AI 应用程序和代理的端到端框架。

superduper-io
⭐ 5,317 Python 👤 superduper-io Organization 🕐 已更新 2025-09-01 📅 创建时间 2022-08-30
36
landing-ai/vision-agent

此工具已被弃用。请改用 Agentic Document Extraction。

landing-ai
⭐ 5,297 Python 👤 landing-ai Organization 🕐 已更新 2026-01-29 📅 创建时间 2024-02-13
37
tencentmusic/cube-studio

cube studio开源云原生一站式机器学习/深度学习/大模型AI平台,mlops算法链路全流程,算力租赁平台,notebook在线开发,拖拉拽任务流pipeline编排,多机多卡分布式训练,超参搜索,推理服务VGPU虚拟化,边缘计算,标注平台自动化标注,deepseek等大模型sft微调/奖励模型/强化学习训练,vllm/ollama/mindie大模型多机推理,私有知识库,AI模型市场,支持国产cpu/gpu/npu 昇腾生态,支持RDMA,支持pytorch/tf/mxnet/deepspeed/paddle/colossalai/horovod/ray/volcano等分布式

tencentmusic
⭐ 5,085 👤 tencentmusic Organization 🕐 已更新 2026-10-09 📅 创建时间 2021-08-17
38
langwatch/langwatch

面向 AI 平台团队的开源智能体可观测性与评测。追踪、测试、路由并治理公司中的每个智能体和编程助手。

langwatch
⭐ 5,050 TypeScript 👤 langwatch Organization 🕐 已更新 2026-11-21 📅 创建时间 2023-09-09
39
itsdecodingai/llm-twin-course

🤖 免费 𝗔𝗽𝗽𝗿𝗲𝗻𝗲𝘇 如何使用 𝗟𝗟𝗠𝗢𝗽𝘀 最佳实践构建端到端的生产就绪 𝗟𝗟𝗠 和 𝗥𝗔𝗚 系统:~ 𝘴𝘰𝘶𝘳𝘤𝘦 𝘤𝘰𝘥𝘦 + 12 व्यावहारिक 𝐥𝐞ç𝐨𝐧𝐬

itsdecodingai
⭐ 4,413 Python 👤 itsdecodingai Organization 🕐 已更新 2026-04-20 📅 创建时间 2024-03-08
40
truefoundry/cognita

TrueFoundry 用于构建模块化、开源的生产应用的 RAG(检索增强生成)框架

truefoundry
⭐ 4,329 Python 👤 truefoundry Organization 🕐 已更新 2026-02-23 📅 创建时间 2023-07-26
41
predibase/lorax

可扩展至数千个微调 LLM 的 Multi-LoRA 推理服务器

predibase
⭐ 3,836 Python 👤 predibase Organization 🕐 已更新 2026-05-28 📅 创建时间 2023-10-20
42
memodb-io/Acontext

代理技能作为内存层

memodb-io
⭐ 3,697 JavaScript 👤 memodb-io Organization 🕐 已更新 2026-07-14 📅 创建时间 2025-07-16
43
truera/trulens

LLM实验与AI代理的评估与追踪

truera
⭐ 3,665 Python 👤 truera Organization 🕐 已更新 2026-11-20 📅 创建时间 2020-11-02
44
lmnr-ai/lmnr

Laminar——专为 AI 代理构建的开源可观测性平台。YC S24。

lmnr-ai
⭐ 3,516 TypeScript 👤 lmnr-ai Organization 🕐 已更新 2026-11-20 📅 创建时间 2024-08-29
45
pezzolabs/pezzo

🕹️ 开源、以开发者为中心的 LLMOps 平台,旨在简化提示设计、版本管理、即时交付、协作、故障排除、可观测性等。

pezzolabs
⭐ 3,287 TypeScript 👤 pezzolabs Organization 🕐 已更新 2026-11-08 📅 创建时间 2023-04-22
46
Josh-XT/AGiXT

AGiXT是一个动态的人工智能代理自动化平台,可跨不同的AI提供商无缝协调指令管理和复杂任务执行。AGiXT结合了自适应记忆、智能功能和多功能插件系统,可提供高效且全面的AI解决方案。

Josh-XT
⭐ 3,214 Python 👤 Josh-XT User 🕐 已更新 2026-07-28 📅 创建时间 2023-04-17
47
protectai/llm-guard

LLM 交互的安全工具包

protectai
⭐ 3,156 Python 👤 protectai Organization 🕐 已更新 2025-12-15 📅 创建时间 2023-07-27
48
itsdecodingai/second-brain-ai-assistant-course

学习如何使用 LLM、代理、RAG、微调、LLMOps 和 AI 系统技术构建您的 Second Brain AI 助手。

itsdecodingai
⭐ 3,138 Jupyter Notebook 👤 itsdecodingai Organization 🕐 已更新 2026-04-06 📅 创建时间 2024-12-30
49
vllm-project/vllm-ascend

社区维护的华为昇腾 vLLM 硬件插件

vllm-project
⭐ 3,128 Python 👤 vllm-project Organization 🕐 已更新 2026-11-21 📅 创建时间 2025-01-29
50
openlit/openlit

同样的智能体,更低的账单。借助这些工具和基础设施,让你的 AI 完成更多工作。更少的 Token。更少的算力。更低的成本。

openlit
⭐ 3,094 TypeScript 👤 openlit Organization 🕐 已更新 2026-11-19 📅 创建时间 2024-01-23

常见问题解答

1

GitHub 上最受欢迎的 #llmops 仓库是什么?

GitHub 上排名第一的开源 #llmops 项目是 BerriAI/litellm,拥有 63,649 个 Star。最快、最轻的AI网关。采用Rust核心与Python SDK。以OpenAI(或原生)格式调用100多个LLM API,支持成本追踪、防护栏、负载均衡和日志记录 [Bedrock、Azure、OpenAI、Anthropic、OpenAI、VertexAI、vLLM、Nvidia NIM]

2

#llmops 仓库中最常使用的编程语言有哪些?

在 GitHub 上排名靠前的 #llmops 项目中,最常见的编程语言是 Python, TypeScript, Jupyter Notebook, Rust。

3

#llmops 仓库的排名是如何计算的?

我们跟踪了 111 个标记为 #llmops 且拥有 500+ 个 Star 的活跃开源仓库,共计获得 716,901 个 Star,平均每个仓库拥有 6,458 个 Star。排名每日根据 GitHub API 更新。