#evaluation 仓库
共 89 个仓库
面向 AI 智能体的开放式记忆与可靠性层 + 独立评判/验证(NACRE 评判器、caliber-bench 元基准测试、预注册标准)——由 Nautilus Platform 提供
[EMNLP 2024 & AAAI 2026] 一个强大的工具包,用于压缩包括大型语言模型(LLMs)、大型视觉语言模型(VLMs)和视频生成模型在内的大型模型。
Awesome-LLM-Eval: a curated list of tools, datasets/benchmark, demos, leaderboard, papers, docs and models, mainly for Evaluation on LLMs. 一个由工具、基准/数据、演示、排行榜和大模型等组成的精选列表,主要面向基础大模型评测,旨在探求生成式AI的技术边界。
[ICML 2024] TrustLLM:从真实性、安全性、公平性、稳健性、隐私和伦理等方面评估大语言模型(LLM)的可信度。适用于本地模型、兼容 API 和 AI 智能体编排的 Python/CLI 工具包。
TCExam 是一个 CBA(Computer-Based Assessment)系统(e-exam、CBT - Computer Based Testing),适用于大学、学校和企业,它使教育者和培训师能够创建、安排、交付并报告调查、测验、测试和考试。
Meta Agents Research Environments 是一个综合性平台,旨在评估动态、现实场景中的 AI 智能体。与静态基准测试不同,该平台引入了不断演进的环境,智能体必须随着新信息的获取而调整其策略,从而模拟现实世界中的挑战。
论文《Recent advances in large language model benchmarks against data contamination: From static to dynamic evaluation》的官方 GitHub 仓库