Git Stars Git Stars

#evaluation 仓库

89
仓库总数
369,872
总星标数
4,155
平均每个仓库星标数
51
chunxiaoxx/nautilus-compass

面向 AI 智能体的开放式记忆与可靠性层 + 独立评判/验证(NACRE 评判器、caliber-bench 元基准测试、预注册标准)——由 Nautilus Platform 提供

chunxiaoxx
⭐ 1,260 Python 👤 chunxiaoxx User 🕐 已更新 2026-11-19 📅 创建时间 2026-04-27
52
run-house/kubetorch

在 Kubernetes 上以 Python 的方式神奇地分发和运行 AI 工作负载,就像用于 ML 基础设施的 PyTorch 一样。

run-house
⭐ 1,228 Python 👤 run-house Organization 🕐 已更新 2026-05-29 📅 创建时间 2022-05-10
53
google/fuzzbench

FuzzBench - 作为服务的模糊器基准测试。

google
⭐ 1,211 Python 👤 google Organization 🕐 已更新 2026-01-26 📅 创建时间 2020-02-04
54
toshas/torch-fidelity

PyTorch 中生成模型的高保真性能指标

toshas
⭐ 1,205 Python 👤 toshas User 🕐 已更新 2026-10-25 📅 创建时间 2020-04-23
55
ncalc/ncalc

NCalc 是一个快速且轻量级的 .NET 表达式求值库,旨在提供灵活性和高性能。它支持广泛的数学和逻辑运算。

ncalc
⭐ 1,172 C# 👤 ncalc Organization 🕐 已更新 2026-11-21 📅 创建时间 2017-11-15
56
xinxuxin/keystone-bench

一个临床决策—证据基准:提取答案所依据的唯一事实,检验助手的行动是否随证据而变化。基于 HealthBench 构建。

xinxuxin
⭐ 1,130 Python 👤 xinxuxin User 🕐 已更新 2026-10-19 📅 创建时间 2026-09-07
57
Jwuthri/Tracely-ai

面向 AI 代理的原生追踪 CI/CD——将生产环境故障转化为阻止 PR 合并的回归测试。自动检测、聚类,并固化为隔离测试用例,在 CI 中以零成本重放。

Jwuthri
⭐ 1,122 Python 👤 Jwuthri User 🕐 已更新 2026-11-21 📅 创建时间 2026-06-03
58
agentscope-ai/OpenJudge

OpenJudge:整体评估和质量奖励的统一框架

agentscope-ai
⭐ 1,121 Python 👤 agentscope-ai Organization 🕐 已更新 2026-11-21 📅 创建时间 2025-07-08
59
prometheus-eval/prometheus-eval

使用 Prometheus 和 GPT4 评估您的 LLM 回复 💯

prometheus-eval
⭐ 1,087 Python 👤 prometheus-eval Organization 🕐 已更新 2025-04-25 📅 创建时间 2024-04-18
60
langchain-ai/langsmith-sdk

LangSmith 客户端 SDK 实现

langchain-ai
⭐ 1,082 Python 👤 langchain-ai Organization 🕐 已更新 2026-10-16 📅 创建时间 2023-05-30
61
MAC-AutoML/MindPipe

一个强大的LLMs和LVLMs模型压缩框架,针对NVIDIA GPU和华为昇腾NPU进行了优化。

MAC-AutoML
⭐ 1,013 Python 👤 MAC-AutoML Organization 🕐 已更新 2026-08-11 📅 创建时间 2026-01-22
62
nolabs-ai/deepfabric

在一个单一管道中生成高质量合成数据、训练、测量和评估

nolabs-ai
⭐ 896 Python 👤 nolabs-ai Organization 🕐 已更新 2026-11-13 📅 创建时间 2024-10-25
63
PRBonn/semantic-kitti-api

用于可视化数据集、处理数据和评估结果的 SemanticKITTI API。

PRBonn
⭐ 895 Python 👤 PRBonn Organization 🕐 已更新 2025-04-03 📅 创建时间 2019-07-24
64
suyoumo/ClawProBench

ClawProBench 是一个以实时测试为先的基准测试框架,用于在 OpenClaw 运行时评估 LLM 代理,具有确定性评分和重复试验可靠性。

suyoumo
⭐ 829 Rust 👤 suyoumo User 🕐 已更新 2026-08-25 📅 创建时间 2025-03-02
65
PaesslerAG/gval

Golang 中的表达式求值

PaesslerAG
⭐ 819 Go 👤 PaesslerAG Organization 🕐 已更新 2026-09-13 📅 创建时间 2017-09-27
66
robocurve/inspect-robots

面向物理 AI 的开源评测。在任意机械臂或人形机器人上运行任何 LLM/VLA,并针对任意真实/仿真基准进行评测。

robocurve
⭐ 776 Python 👤 robocurve Organization 🕐 已更新 2026-11-11 📅 创建时间 2026-06-26
67
angular/web-codegen-scorer

Web Codegen Scorer 是一个用于评估由 LLM 生成的 Web 代码质量的工具。

angular
⭐ 774 TypeScript 👤 angular Organization 🕐 已更新 2026-05-05 📅 创建时间 2025-09-04
68
IntelLabs/RAG-FiT

用于通过微调增强RAG任务LLM的框架。

IntelLabs
⭐ 766 Python 👤 IntelLabs Organization 🕐 已更新 2026-06-08 📅 创建时间 2024-07-23
69
ModelTC/LightCompress

[EMNLP 2024 & AAAI 2026] 一个强大的工具包,用于压缩包括大型语言模型(LLMs)、大型视觉语言模型(VLMs)和视频生成模型在内的大型模型。

ModelTC
⭐ 755 Python 👤 ModelTC Organization 🕐 已更新 2026-05-14 📅 创建时间 2024-03-06
70
comet-ml/opik-openclaw

🦞 OpenClaw 的官方插件,将代理跟踪导出到 Opik。查看和监控代理行为、成本、令牌、错误等。

comet-ml
⭐ 723 TypeScript 👤 comet-ml Organization 🕐 已更新 2026-11-20 📅 创建时间 2026-03-02
71
AgentSafeLabs/safelabs-eval

面向 AI 智能体的红队测试与评估框架,基于受 OWASP 启发的 ASI01–ASI10 分类体系构建

AgentSafeLabs
⭐ 713 Python 👤 AgentSafeLabs Organization 🕐 已更新 2026-11-06 📅 创建时间 2026-05-25
72
bochinski/iou-tracker

IOU Tracker 的 Python 实现

bochinski
⭐ 701 Python 👤 bochinski User 🕐 已更新 2026-06-14 📅 创建时间 2017-07-25
73
google-deepmind/long-form-factuality

大型语言模型长文事实性基准测试。我们论文“大型语言模型长文事实性”的原始代码。

google-deepmind
⭐ 698 Python 👤 google-deepmind Organization 🕐 已更新 2026-06-18 📅 创建时间 2024-03-25
74
AmenRa/ranx

⚡️用于排名评估、比较和融合的闪电般快速的Python库 🐍

AmenRa
⭐ 691 Python 👤 AmenRa User 🕐 已更新 2025-08-07 📅 创建时间 2020-06-02
75
onejune2018/Awesome-LLM-Eval

Awesome-LLM-Eval: a curated list of tools, datasets/benchmark, demos, leaderboard, papers, docs and models, mainly for Evaluation on LLMs. 一个由工具、基准/数据、演示、排行榜和大模型等组成的精选列表,主要面向基础大模型评测,旨在探求生成式AI的技术边界。

onejune2018
⭐ 661 👤 onejune2018 User 🕐 已更新 2025-11-24 📅 创建时间 2023-04-26
76
run-llama/ParseBench

ParseBench - 面向AI代理的文档解析基准

run-llama
⭐ 650 Python 👤 run-llama Organization 🕐 已更新 2026-11-21 📅 创建时间 2026-04-10
77
ucinlp/autoprompt

AutoPrompt:用于掩码语言模型的自动提示构建。

ucinlp
⭐ 643 Python 👤 ucinlp Organization 🕐 已更新 2026-09-02 📅 创建时间 2020-03-01
78
chrisliu298/awesome-llm-unlearning

大型语言模型中机器不可学的资源库

chrisliu298
⭐ 640 👤 chrisliu298 User 🕐 已更新 2026-10-06 📅 创建时间 2024-03-27
79
onyx-dot-app/EnterpriseRAG-Bench

用于公司内部文档RAG的数据集和基准。

onyx-dot-app
⭐ 639 👤 onyx-dot-app Organization 🕐 已更新 2026-09-03 📅 创建时间 2026-02-19
80
HowieHwong/TrustLLM

[ICML 2024] TrustLLM:从真实性、安全性、公平性、稳健性、隐私和伦理等方面评估大语言模型(LLM)的可信度。适用于本地模型、兼容 API 和 AI 智能体编排的 Python/CLI 工具包。

HowieHwong
⭐ 635 Python 👤 HowieHwong User 🕐 已更新 2026-10-04 📅 创建时间 2023-12-23
81
tecnickcom/tcexam

TCExam 是一个 CBA(Computer-Based Assessment)系统(e-exam、CBT - Computer Based Testing),适用于大学、学校和企业,它使教育者和培训师能够创建、安排、交付并报告调查、测验、测试和考试。

tecnickcom
⭐ 634 PHP 👤 tecnickcom Organization 🕐 已更新 2026-11-21 📅 创建时间 2013-04-15
82
codingseb/ExpressionEvaluator

一个简单的数学和伪 C# 表达式评估器,仅在一个 C# 文件中。也可以执行小型类似 C# 的脚本

codingseb
⭐ 630 C# 👤 codingseb User 🕐 已更新 2025-09-08 📅 创建时间 2017-03-15
83
danthedeckie/simpleeval

Python 的简单、安全、沙盒化、可扩展的表达式求值器

danthedeckie
⭐ 618 Python 👤 danthedeckie User 🕐 已更新 2026-10-25 📅 创建时间 2013-12-03
84
DocAILab/XRAG

XRAG:探究核心——高级检索增强生成中的基础组件模块基准测试

DocAILab
⭐ 612 Python 👤 DocAILab Organization 🕐 已更新 2026-11-01 📅 创建时间 2024-09-07
85
MMMU-Benchmark/MMMU

本仓库包含论文“MMMU:面向专家AGI的多学科多模态大规模理解与推理基准”的评估代码

MMMU-Benchmark
⭐ 601 Python 👤 MMMU-Benchmark Organization 🕐 已更新 2026-11-13 📅 创建时间 2023-11-23
86
jkkummerfeld/text2sql-data

一个将问题与 SQL 查询配对的数据集集合。

jkkummerfeld
⭐ 587 Python 👤 jkkummerfeld User 🕐 已更新 2025-03-03 📅 创建时间 2018-05-11
87
GrumpyZhou/image-matching-toolbox

这是一个工具箱存储库,用于帮助评估从图像对执行图像匹配的各种方法。

GrumpyZhou
⭐ 586 Jupyter Notebook 👤 GrumpyZhou User 🕐 已更新 2024-04-29 📅 创建时间 2020-11-24
88
facebookresearch/meta-agents-research-environments

Meta Agents Research Environments 是一个综合性平台,旨在评估动态、现实场景中的 AI 智能体。与静态基准测试不同,该平台引入了不断演进的环境,智能体必须随着新信息的获取而调整其策略,从而模拟现实世界中的挑战。

facebookresearch
⭐ 581 Python 👤 facebookresearch Organization 🕐 已更新 2026-09-30 📅 创建时间 2025-09-11
89
SeekingDream/Static-to-Dynamic-LLMEval

论文《Recent advances in large language model benchmarks against data contamination: From static to dynamic evaluation》的官方 GitHub 仓库

SeekingDream
⭐ 500 👤 SeekingDream User 🕐 已更新 2026-09-28 📅 创建时间 2025-02-21