Git Stars Git Stars

#llm-evaluation 仓库

108
仓库总数
444,825
总星标数
4,118
平均每个仓库星标数

共 108 个仓库

51
JackHopkins/factorio-learning-environment

用于评估 Factorio 中 LLM 的非饱和、开放式环境

JackHopkins
⭐ 1,224 Python 👤 JackHopkins User 🕐 已更新 2026-09-18 📅 创建时间 2021-06-19
52
cvs-health/uqlm

[JMLR 2026] UQLM:一个利用不确定性量化检测大语言模型幻觉的 Python 软件包

cvs-health
⭐ 1,215 Python 👤 cvs-health Organization 🕐 已更新 2026-11-08 📅 创建时间 2025-04-17
54
togethercomputer/together-cookbook

Together AI 驱动的开源模型用例的笔记本/食谱集合。

togethercomputer
⭐ 1,191 Jupyter Notebook 👤 togethercomputer Organization 🕐 已更新 2026-11-18 📅 创建时间 2024-10-07
55
wandb/weave

Weave 是一个用于开发 AI 驱动应用程序的工具包,由 Weights & Biases 构建。

wandb
⭐ 1,151 Python 👤 wandb Organization 🕐 已更新 2026-11-20 📅 创建时间 2023-06-07
56
xinxuxin/keystone-bench

一个临床决策—证据基准:提取答案所依据的唯一事实,检验助手的行动是否随证据而变化。基于 HealthBench 构建。

xinxuxin
⭐ 1,130 Python 👤 xinxuxin User 🕐 已更新 2026-10-19 📅 创建时间 2026-09-07
57
Jwuthri/Tracely-ai

面向 AI 代理的原生追踪 CI/CD——将生产环境故障转化为阻止 PR 合并的回归测试。自动检测、聚类,并固化为隔离测试用例,在 CI 中以零成本重放。

Jwuthri
⭐ 1,122 Python 👤 Jwuthri User 🕐 已更新 2026-11-21 📅 创建时间 2026-06-03
58
Arena-OSS/arena-hard-auto

Arena-Hard-Auto:一个自动化的LLM基准测试。

Arena-OSS
⭐ 1,087 Python 👤 Arena-OSS Organization 🕐 已更新 2026-11-20 📅 创建时间 2023-11-04
59
braintrustdata/autoevals

AutoEvals 是一个使用最佳实践快速轻松评估 AI 模型输出的工具。

braintrustdata
⭐ 1,087 Python 👤 braintrustdata Organization 🕐 已更新 2026-11-19 📅 创建时间 2023-07-11
60
Continuum-AI-Corp/OrcaReplay

OrcaReplay — AI 智能体的时间旅行。使用任何模型记录、回放、分叉和调试任何智能体运行过程。由 OrcaRouter.ai 团队打造。

Continuum-AI-Corp
⭐ 1,083 TypeScript 👤 Continuum-AI-Corp Organization 🕐 已更新 2026-10-01 📅 创建时间 2026-08-29
62
JudgmentLabs/judgeval

面向智能体的持续改进技术栈。我们的环境数据和评估功能为智能体的改进与监控提供支持。

JudgmentLabs
⭐ 1,073 Python 👤 JudgmentLabs Organization 🕐 已更新 2026-11-19 📅 创建时间 2024-10-25
63
ray-project/llmperf

LLMPerf 是一个用于验证和基准测试 LLM 的库

ray-project
⭐ 1,066 Python 👤 ray-project Organization 🕐 已更新 2024-12-09 📅 创建时间 2023-10-10
64
benchflow-ai/awesome-evals

一个精心策划、无废话的资源库,汇集了构建和评估AI智能体的最佳资料——包括论文、博客、演讲、工具和基准测试。由BenchFlow维护。

benchflow-ai
⭐ 1,049 👤 benchflow-ai Organization 🕐 已更新 2026-11-04 📅 创建时间 2026-06-24
65
amazon-science/RAGChecker

RAGChecker: 诊断 RAG 的细粒度框架

amazon-science
⭐ 1,032 Python 👤 amazon-science Organization 🕐 已更新 2024-12-13 📅 创建时间 2024-06-24
66
majacinka/crewai-experiments

本地模型以及通过API提供的模型实验

majacinka
⭐ 1,006 Python 👤 majacinka User 🕐 已更新 2024-05-05 📅 创建时间 2024-01-13
67
KCORES/kcores-llm-arena

KCORES团队的LLM Arena

KCORES
⭐ 960 HTML 👤 KCORES Organization 🕐 已更新 2025-04-29 📅 创建时间 2025-02-12
68
superwesleyhys-ux/factcircuit

FactCircuit:一个可审计的主张与证据验证闭环,具备不可篡改的来源记录、分阶段检查、有界检索和可复现的评估。

superwesleyhys-ux
⭐ 926 Python 👤 superwesleyhys-ux User 🕐 已更新 2026-11-13 📅 创建时间 2026-09-06
70
hinthornw/promptimizer

提示优化scratch

hinthornw
⭐ 899 Python 👤 hinthornw User 🕐 已更新 2025-04-17 📅 创建时间 2024-10-30
71
xlang-ai/Spider2

[ICLR 2025 Oral] Spider 2.0: 在真实的企业 Text-to-SQL 工作流上评估语言模型

xlang-ai
⭐ 890 HTML 👤 xlang-ai Organization 🕐 已更新 2026-08-12 📅 创建时间 2024-08-22
72
yule-BUAA/MergeLM

语言模型合并代码库 (ICML 2024)

yule-BUAA
⭐ 862 Python 👤 yule-BUAA User 🕐 已更新 2024-05-05 📅 创建时间 2023-11-06
73
jwuthri-cloud/Tracely-ai

面向 AI 智能体的原生 Trace CI/CD:评估生产环境中的 Trace,对故障进行聚类,将其固化为可回放的回归测试,并阻止引入回归的 PR。支持自托管。

jwuthri-cloud
⭐ 850 Python 👤 jwuthri-cloud User 🕐 已更新 2026-11-16 📅 创建时间 2026-10-11
74
darkrishabh/agent-skills-eval

一个用于 agentskills.io 风格 AI 智能体技能的测试运行器

darkrishabh
⭐ 819 TypeScript 👤 darkrishabh User 🕐 已更新 2026-11-16 📅 创建时间 2026-05-06
75
tjunlp-lab/Awesome-LLMs-Evaluation-Papers

论文根据我们的调查进行组织:Evaluating Large Language Models: A Comprehensive Survey.

tjunlp-lab
⭐ 791 👤 tjunlp-lab User 🕐 已更新 2024-05-08 📅 创建时间 2023-10-29
77
overmind-core/overmind

持续改进 AI 智能体的平台。

overmind-core
⭐ 771 Python 👤 overmind-core Organization 🕐 已更新 2026-11-21 📅 创建时间 2026-03-27
79
OpenLMLab/GAOKAO-Bench

GAOKAO-Bench 是一个利用 GAOKAO 考题作为数据集来评估大型语言模型的评估框架。

OpenLMLab
⭐ 754 Python 👤 OpenLMLab Organization 🕐 已更新 2025-01-07 📅 创建时间 2023-04-16
80
EverMind-AI/SkillCorpus

将分散的 SKILL.md 文件转化为经过整理、可供检索的智能体技能语料库的开源基础设施,并包含检索与评估工具。

EverMind-AI
⭐ 706 Python 👤 EverMind-AI Organization 🕐 已更新 2026-11-19 📅 创建时间 2026-08-11
81
Steven-Luo/MasteringRAG

企业级RAG系统从入门到精通

Steven-Luo
⭐ 699 Jupyter Notebook 👤 Steven-Luo User 🕐 已更新 2025-06-25 📅 创建时间 2024-07-16
82
mlabonne/llm-autoeval

在 Google Colab 中自动评估您的 LLM

mlabonne
⭐ 678 Python 👤 mlabonne User 🕐 已更新 2024-05-07 📅 创建时间 2024-01-01
83
onejune2018/Awesome-LLM-Eval

Awesome-LLM-Eval: a curated list of tools, datasets/benchmark, demos, leaderboard, papers, docs and models, mainly for Evaluation on LLMs. 一个由工具、基准/数据、演示、排行榜和大模型等组成的精选列表,主要面向基础大模型评测,旨在探求生成式AI的技术边界。

onejune2018
⭐ 661 👤 onejune2018 User 🕐 已更新 2025-11-24 📅 创建时间 2023-04-26
84
wanghao-SunSky/cs329z-chinese

斯坦福 Stanford CS329Z Engineering AI Agents 中文教程:面向 Python 开发者的 AI 智能体课程,包含 19 讲与 4 项实践,涵盖 LLM、RAG、工具调用、记忆、多智能体、评测与安全。提供完整 Markdown、在线与离线 HTML。中文课程笔记。

wanghao-SunSky
⭐ 658 HTML 👤 wanghao-SunSky User 🕐 已更新 2026-11-06 📅 创建时间 2026-10-28
85
ValueByte-AI/Awesome-LLM-in-Social-Science

社会科学领域涉及LLM的优秀论文。

ValueByte-AI
⭐ 652 👤 ValueByte-AI Organization 🕐 已更新 2026-11-14 📅 创建时间 2023-10-15
86
codefuse-ai/codefuse-devops-eval

DevOps/AIOps领域的LLM的行业首个评估基准。

codefuse-ai
⭐ 646 Python 👤 codefuse-ai Organization 🕐 已更新 2024-07-10 📅 创建时间 2023-09-28
87
onyx-dot-app/EnterpriseRAG-Bench

用于公司内部文档RAG的数据集和基准。

onyx-dot-app
⭐ 639 👤 onyx-dot-app Organization 🕐 已更新 2026-09-03 📅 创建时间 2026-02-19
88
HowieHwong/TrustLLM

[ICML 2024] TrustLLM:从真实性、安全性、公平性、稳健性、隐私和伦理等方面评估大语言模型(LLM)的可信度。适用于本地模型、兼容 API 和 AI 智能体编排的 Python/CLI 工具包。

HowieHwong
⭐ 635 Python 👤 HowieHwong User 🕐 已更新 2026-10-04 📅 创建时间 2023-12-23
89
inclusionAI/ASearcher

一个面向搜索代理的开源大规模强化学习项目

inclusionAI
⭐ 617 Python 👤 inclusionAI Organization 🕐 已更新 2025-11-26 📅 创建时间 2025-08-05
90
mlfoundations/evalchemy

LLM的自动评估

mlfoundations
⭐ 617 HTML 👤 mlfoundations Organization 🕐 已更新 2026-11-12 📅 创建时间 2024-11-15
92
SalesforceAIResearch/MCP-Universe

MCP-Universe 是一个全面的框架,专为 RL 训练、基准测试和开发通用工具使用 AI 代理而设计。

SalesforceAIResearch
⭐ 606 Python 👤 SalesforceAIResearch Organization 🕐 已更新 2026-10-08 📅 创建时间 2025-05-02
93
CSHaitao/Awesome-LLMs-as-Judges

论文"LLMs-as-Judges: LLM-based Evaluation Methods"的官方仓库。

CSHaitao
⭐ 600 👤 CSHaitao User 🕐 已更新 2025-07-29 📅 创建时间 2024-11-10
94
harish-gaggar/mcp-server-gateway

MCP 网关与 OAuth MCP 服务器。LangGraph 智能体:记忆、评估/追踪、个人身份信息(PII)防护、上下文裁剪。企业级智能体的 Docker 快速入门。

harish-gaggar
⭐ 588 Python 👤 harish-gaggar User 🕐 已更新 2026-10-03 📅 创建时间 2026-08-17
95
yfzhang114/Thyme

✨✨ [ICLR 2026] 思考超越图像

yfzhang114
⭐ 585 Python 👤 yfzhang114 User 🕐 已更新 2025-09-23 📅 创建时间 2025-08-17
96
General-Analysis/GA

关于用于使 AI 模型更安全的越狱技术的百科全书。

General-Analysis
⭐ 583 Jupyter Notebook 👤 General-Analysis Organization 🕐 已更新 2025-05-26 📅 创建时间 2025-01-18
98
juanjuandog/FinSight-AI

具备高韧性工作流、基于证据的 RAG、版本化报告和自动化质量评估的 AI 股票研究代理。

juanjuandog
⭐ 562 Java 👤 juanjuandog User 🕐 已更新 2026-09-02 📅 创建时间 2026-05-11
100
RUCAIBox/HaluEval

这是HaluEval的存储库,一个用于大型语言模型的大规模幻觉评估基准。

RUCAIBox
⭐ 540 Python 👤 RUCAIBox Organization 🕐 已更新 2024-02-12 📅 创建时间 2023-05-18