#llm-evaluation 仓库
共 108 个仓库
OrcaReplay — AI 智能体的时间旅行。使用任何模型记录、回放、分叉和调试任何智能体运行过程。由 OrcaRouter.ai 团队打造。
面向 AI 智能体的原生 Trace CI/CD:评估生产环境中的 Trace,对故障进行聚类,将其固化为可回放的回归测试,并阻止引入回归的 PR。支持自托管。
论文根据我们的调查进行组织:Evaluating Large Language Models: A Comprehensive Survey.
Awesome-LLM-Eval: a curated list of tools, datasets/benchmark, demos, leaderboard, papers, docs and models, mainly for Evaluation on LLMs. 一个由工具、基准/数据、演示、排行榜和大模型等组成的精选列表,主要面向基础大模型评测,旨在探求生成式AI的技术边界。
斯坦福 Stanford CS329Z Engineering AI Agents 中文教程:面向 Python 开发者的 AI 智能体课程,包含 19 讲与 4 项实践,涵盖 LLM、RAG、工具调用、记忆、多智能体、评测与安全。提供完整 Markdown、在线与离线 HTML。中文课程笔记。
[ICML 2024] TrustLLM:从真实性、安全性、公平性、稳健性、隐私和伦理等方面评估大语言模型(LLM)的可信度。适用于本地模型、兼容 API 和 AI 智能体编排的 Python/CLI 工具包。
MCP 网关与 OAuth MCP 服务器。LangGraph 智能体:记忆、评估/追踪、个人身份信息(PII)防护、上下文裁剪。企业级智能体的 Docker 快速入门。