#llmops 仓库
共 111 个仓库
Apache Hamilton 帮助数据科学家和工程师定义可测试、模块化、自文档化的数据流,这些数据流编码血缘/跟踪和元数据。可在 Python 运行的所有地方运行和扩展。
cubestudio开源云原生一站式机器学习/深度学习/大模型AI平台/MaaS/mlops/人工智能平台/训推平台,算法全链路流程,多租户,算力租赁平台,token中转,拖拉拽任务流pipeline编排,多机多卡分布式训练,超参搜索,推理服务,VGPU虚拟化,云边端协同,边缘计算,自动化标注平台,deepseek等大模型sft微调/奖励模型/强化学习训练,vllm/ollama/mindie大模型多机推理,私有知识库llmops智能体,AI模型市场,支持国产异构算力调度,昇腾/寒武纪/海光/摩尔/沐曦等,支持ib/roce/RDMA,信创支持
UpTrain 是一个开源的统一平台,用于评估和改进生成式 AI 应用程序。我们为 20 多个预配置的检查(涵盖语言、代码、嵌入式用例)提供评分,对失败案例进行根本原因分析,并提供有关如何解决这些问题的见解。
开源端到端平台,用于评估、观察和改进 LLM 和 AI 代理应用。Tracing · Evals · Simulations · Datasets · Gateway · Guardrails。自托管。Apache 2.0。
Waku Agent 是一个由你掌控的开源 AI 智能体框架:包含循环、记忆、评测,以及一个始终运行的层(事件收件箱、定时器、审批、发件箱),代码始终保持易读。
开源 LLM/VLM 负载均衡器和 serving 平台,用于大规模自托管 LLM(和 VLM)🏓🦙 llm-d、Docker Model Runner 等项目的替代品,但移动部件更少,并围绕 ggml 生态系统构建简单部署。在 CPU 和 GPU 上运行。
[GenAI 应用开发框架] 🚀 快速轻松地构建 GenAI 应用 💬 使用结构化数据和链式调用语法在代码中轻松与 GenAI 代理交互 🧩 使用事件驱动流程 *TriggerFlow* 管理复杂的 GenAI 工作逻辑 🔀 无需重写应用程序代码即可切换到任何模型
SmythOS 运行时环境 (SRE) 是一个面向代理型人工智能的开源、云原生运行时。它安全、模块化且生产就绪,使开发人员能够在本地、云端和边缘环境中构建、运行和管理智能代理。
Langtrace 🔍 是一款基于 Open Telemetry 的开源端到端可观测性工具,适用于 LLM 应用程序,为流行的 LLM、LLM 框架、向量数据库等提供实时追踪、评估和指标。支持通过 Typescript、Python 进行集成。🚀💻📊
AuditPilot:可审计的企业级AI代理,用于基于证据的工作流程、受管控的工具、评估框架、人工审核以及补救措施交付。
用 Rust 构建的开源 LLM 网关。一个端点即可接入 OpenAI、Anthropic、Gemini 及其他所有供应商。支持任意 SDK、任意模型、任意工具。
大型语言模型 (LLMs) 教程和示例脚本,包含 langchain、openai、llamaindex、gpt、chromadb 和 pinecone
面向 AI 智能体的原生 Trace CI/CD:评估生产环境中的 Trace,对故障进行聚类,将其固化为可回放的回归测试,并阻止引入回归的 PR。支持自托管。
面向 AI 原生公司的自托管 AI 智能体平台。支持 Claude Code、Codex、Gemini 和 OpenCode 智能体。Apache 2.0 许可证。
此示例包含了使用 Prompty 和 Azure AI Foundry 创建 RAG 应用程序的完整端到端流程。它包括 GPT-4 LLM 应用程序代码、评估、使用 AZD CLI 进行部署自动化、用于评估和部署的 GitHub Actions 以及用于多个 LLM 任务映射的意图映射。
查看您的编码代理做了什么以及花费了多少。将每个任务分解为工作步骤——使用的工具、更改的文件、运行的测试、花费的时间和令牌。本地优先的仪表板,适用于Claude Code、Codex、OpenCode等。无需登录,无需遥测。
面向 AI 工程师 / 前线部署工程师 (FDE) 技能栈的实战型、无框架 Colab 笔记本 —— 涵盖模型 API、结构化输出、工具调用、RAG、以评估为核心、智能体(从零构建循环、工具设计、护栏机制、MCP、技能)、微调 vs LoRA、提示词注入与安全、LLMOps 以及客户服务技艺。基于免费的 Groq API 运行。
如果OpenAI Deep Research和Dify是一个平台会怎样?OpenAgent — 利用架构快速构建垂直AI代理,具备深度推理循环、可视化工作流、RAG和A2A委托功能。