Git Stars Git Stars

#evaluation 仓库

探索 89 个标记为 #evaluation 的活跃开源 GitHub 仓库,它们累计获得 369,872 个 Star(平均每个项目 4,155 个)。该主题的领先项目是 lm-sys/FastChat,拥有 39,550 个 Star。

89
仓库总数
369,872
总星标数
4,155
平均每个仓库星标数
1
lm-sys/FastChat

用于训练、部署和评估大型语言模型的开放平台。Vicuna 和 Chatbot Arena 的发布仓库。

lm-sys
⭐ 39,550 Python 👤 lm-sys Organization 🕐 已更新 2026-05-01 📅 创建时间 2023-03-19
2
Tencent/WeKnora

开源 LLM 知识平台:将原始文档转化为可查询的 RAG、自主推理代理和自维护 Wiki。

Tencent
⭐ 37,938 Go 👤 Tencent Organization 🕐 已更新 2026-11-21 📅 创建时间 2025-07-22
3
langfuse/langfuse

🪢 开源 AI 工程平台:基于 OpenTelemetry 构建,提供 AI 网关、智能体可观测性、评估以及提示词/技能管理。一个开放平台,覆盖每一次 AI 调用和每一个智能体。可自行托管,也可使用 Langfuse Cloud。

langfuse
⭐ 37,696 TypeScript 👤 langfuse Organization 🕐 已更新 2026-11-21 📅 创建时间 2023-05-18
4
mlflow/mlflow

开源AI工程平台,适用于代理、大语言模型(LLMs)和机器学习模型。MLflow使各种规模的团队能够调试、评估、监控和优化生产级AI应用,同时控制成本并管理对模型和数据的访问。

mlflow
⭐ 28,920 Python 👤 mlflow Organization 🕐 已更新 2026-11-21 📅 创建时间 2018-06-05
5
promptfoo/promptfoo

测试您的提示词、智能体和 RAG。针对人工智能的红队测试/渗透测试/漏洞扫描。比较 GPT、Claude、Gemini、DeepSeek 等模型的性能。支持命令行和 CI/CD 集成的简单声明式配置。已被 OpenAI 和 Anthropic 使用。

promptfoo
⭐ 27,516 TypeScript 👤 promptfoo Organization 🕐 已更新 2026-11-21 📅 创建时间 2023-04-28
6
comet-ml/opik

通过全面的追踪、自动化评估和生产级仪表板,对您的 LLM 应用程序、RAG 系统和代理工作流进行调试、评估和监控。

comet-ml
⭐ 23,479 Java 👤 comet-ml Organization 🕐 已更新 2026-11-21 📅 创建时间 2023-05-10
7
vibrantlabsai/ragas

为您的 LLM 应用评估注入超能力 🚀

vibrantlabsai
⭐ 16,395 Python 👤 vibrantlabsai Organization 🕐 已更新 2026-11-14 📅 创建时间 2023-05-08
8
open-compass/opencompass

OpenCompass 是一个大语言模型(LLM)评测平台,支持 OpenAI、Anthropic、Gemini、Qwen、GLM、DeepSeek 等众多模型,涵盖 100 多个数据集,涉及知识、推理、编程、科学、语言、长上下文和安全等领域。

open-compass
⭐ 7,610 Python 👤 open-compass Organization 🕐 已更新 2026-11-18 📅 创建时间 2023-06-15
9
alchaincyf/darwin-skill

达尔文.skill —— 一个让你的Skill无限进化的系统:评估→改进→测试→保留或回滚 | Autoresearch-inspired autonomous skill optimization for Claude Code. Evaluate, improve, test, keep or revert.

alchaincyf
⭐ 7,015 HTML 👤 alchaincyf User 🕐 已更新 2026-11-18 📅 创建时间 2026-04-13
10
Helicone/helicone

🧊 开源 LLM 可观测性平台。一行代码即可进行监控、评估和实验。YC W23 🍓

Helicone
⭐ 6,292 TypeScript 👤 Helicone Organization 🕐 已更新 2026-11-17 📅 创建时间 2023-01-31
11
coze-dev/coze-loop

下一代AI代理优化平台:Cozeloop通过提供从开发、调试、评估到监控的全生命周期管理能力,解决了AI代理开发中的挑战。

coze-dev
⭐ 5,799 Go 👤 coze-dev Organization 🕐 已更新 2026-11-17 📅 创建时间 2025-06-24
12
Kiln-AI/Kiln

构建、评估和优化 AI 系统。包括评估、RAG、智能体、微调、合成数据生成、数据集管理、MCP 等。

Kiln-AI
⭐ 5,286 Python 👤 Kiln-AI Organization 🕐 已更新 2026-11-21 📅 创建时间 2024-07-23
13
langwatch/langwatch

面向 AI 平台团队的开源智能体可观测性与评测。追踪、测试、路由并治理公司中的每个智能体和编程助手。

langwatch
⭐ 5,050 TypeScript 👤 langwatch Organization 🕐 已更新 2026-11-21 📅 创建时间 2023-09-09
14
EvolvingLMMs-Lab/lmms-eval

文本、图像、视频和音频任务的“统一评估”多模态工具包

EvolvingLMMs-Lab
⭐ 4,501 Python 👤 EvolvingLMMs-Lab Organization 🕐 已更新 2026-11-20 📅 创建时间 2024-03-07
15
open-compass/VLMEvalKit

大型多模态模型(LMM)的开源评估工具包,支持 220+ LMM,80+ 标杆

open-compass
⭐ 4,499 Python 👤 open-compass Organization 🕐 已更新 2026-11-19 📅 创建时间 2023-12-01
16
MichaelGrupp/evo

用于评估里程计和SLAM的Python包

MichaelGrupp
⭐ 4,367 Python 👤 MichaelGrupp User 🕐 已更新 2026-11-15 📅 创建时间 2017-09-13
17
NVIDIA/SkillEvaluator

用于评估 AI 智能体技能和插件的多层级框架,包含质量门禁、安全扫描、测试框架兼容性检查、语义重叠检测、合成评估数据集生成,以及衡量技能如何影响智能体行为的实时智能体评估。提供可复用的 CI 模板,将所有检查引入任何代码仓库。

NVIDIA
⭐ 4,300 Python 👤 NVIDIA Organization 🕐 已更新 2026-11-21 📅 创建时间 2026-06-24
18
modelscope/evalscope

一个精简且可定制的框架,用于高效的大型模型(LLM、VLM、AIGC)评估和性能基准测试。

modelscope
⭐ 3,715 Python 👤 modelscope Organization 🕐 已更新 2026-11-20 📅 创建时间 2023-12-07
19
embeddings-benchmark/mteb

MTEB:跨语言和模态的嵌入表示最新评估

embeddings-benchmark
⭐ 3,519 Python 👤 embeddings-benchmark Organization 🕐 已更新 2026-11-21 📅 创建时间 2022-04-05
20
lmnr-ai/lmnr

Laminar——专为 AI 代理构建的开源可观测性平台。YC S24。

lmnr-ai
⭐ 3,516 TypeScript 👤 lmnr-ai Organization 🕐 已更新 2026-11-20 📅 创建时间 2024-08-29
21
CLUEbenchmark/SuperCLUE

SuperCLUE: 中文通用大模型综合性基准 | A Benchmark for Foundation Models in Chinese

CLUEbenchmark
⭐ 3,308 👤 CLUEbenchmark Organization 🕐 已更新 2026-02-06 📅 创建时间 2023-05-02
22
viebel/klipse

Klipse 是一个用于在技术博客中嵌入交互式代码片段的 JavaScript 插件。

viebel
⭐ 3,134 HTML 👤 viebel User 🕐 已更新 2024-10-01 📅 创建时间 2015-11-19
23
ianarawjo/ChainForge

一个用于 LLM 提示实战测试的开源可视化编程环境。

ianarawjo
⭐ 3,044 TypeScript 👤 ianarawjo User 🕐 已更新 2026-10-29 📅 创建时间 2023-03-26
24
microsoft/promptbench

大型语言模型的统一评估框架

microsoft
⭐ 2,786 Python 👤 microsoft Organization 🕐 已更新 2026-02-20 📅 创建时间 2023-06-13
25
yaojingang/yao-meta-skill

YAO = 产生AI成果。一个用于可复用代理技能的严格工程、评估、治理和可移植性系统。

yaojingang
⭐ 2,739 Python 👤 yaojingang User 🕐 已更新 2026-11-09 📅 创建时间 2026-03-31
26
huggingface/lighteval

Lighteval 是您跨多个后端评估 LLM 的一体化工具包

huggingface
⭐ 2,587 Python 👤 huggingface Organization 🕐 已更新 2026-11-18 📅 创建时间 2024-01-26
27
huggingface/evaluate

🤗 Evaluate:一个用于轻松评估机器学习模型和数据集的库。

huggingface
⭐ 2,498 Python 👤 huggingface Organization 🕐 已更新 2026-11-16 📅 创建时间 2022-03-30
28
1517005260/graph-rag-agent

拼好RAG:手搓并融合了GraphRAG、LightRAG、Neo4j-llm-graph-builder进行知识图谱构建以及搜索;整合DeepSearch技术实现私域RAG的推理;自制针对GraphRAG的评估框架

1517005260
⭐ 2,355 Python 👤 1517005260 User 🕐 已更新 2025-11-05 📅 创建时间 2025-02-12
29
uptrain-ai/uptrain

UpTrain 是一个开源的统一平台,用于评估和改进生成式 AI 应用程序。我们为 20 多个预配置的检查(涵盖语言、代码、嵌入式用例)提供评分,对失败案例进行根本原因分析,并提供有关如何解决这些问题的见解。

uptrain-ai
⭐ 2,337 Python 👤 uptrain-ai Organization 🕐 已更新 2024-08-18 📅 创建时间 2022-11-07
30
MCPJam/inspector

用于聊天、检查和调试MCP服务器、MCP应用和ChatGPT应用的测试与评估平台。

MCPJam
⭐ 2,331 TypeScript 👤 MCPJam Organization 🕐 已更新 2026-11-21 📅 创建时间 2025-05-23
31
Sahir619/fable-method

寓言工作流:克劳德寓言5的工作原理,提炼为任何模型都能运行的技能,并附有保持其诚实的评估。思考/行动/证明。

Sahir619
⭐ 2,324 Python 👤 Sahir619 User 🕐 已更新 2026-10-03 📅 创建时间 2026-07-06
32
Xnhyacinth/Awesome-LLM-Long-Context-Modeling

📰 关于LLM长上下文建模的必读论文和博客 🔥

Xnhyacinth
⭐ 2,191 👤 Xnhyacinth User 🕐 已更新 2026-11-13 📅 创建时间 2023-09-17
33
huggingface/evaluation-guidebook

分享我们在管理 Open LLM Leaderboard 和设计 lighteval 期间收集到的关于 LLM 评估的实用见解和理论知识!

huggingface
⭐ 2,166 Jupyter Notebook 👤 huggingface Organization 🕐 已更新 2025-12-03 📅 创建时间 2024-10-09
34
ContinualAI/avalanche

Avalanche:一个基于PyTorch的端到端持续学习库。

ContinualAI
⭐ 2,054 Python 👤 ContinualAI Organization 🕐 已更新 2025-03-11 📅 创建时间 2020-03-05
35
Cloud-CV/EvalAI

:cloud: :rocket: :bar_chart: :chart_with_upwards_trend: 评估人工智能的最新技术

Cloud-CV
⭐ 2,049 Python 👤 Cloud-CV Organization 🕐 已更新 2026-11-14 📅 创建时间 2016-10-21
36
tatsu-lab/alpaca_eval

面向指令遵循语言模型的自动评估器。经人类验证,高质量,低成本,速度快。

tatsu-lab
⭐ 2,010 Jupyter Notebook 👤 tatsu-lab Organization 🕐 已更新 2025-08-09 📅 创建时间 2023-05-25
37
trpc-group/trpc-agent-go

一个用于构建生产级智能体系统的 Go 框架,支持图工作流、工具、记忆、A2A、AG-UI、MCP、评估和可观测性。

trpc-group
⭐ 1,940 Go 👤 trpc-group Organization 🕐 已更新 2026-11-21 📅 创建时间 2025-05-14
38
xinshuoweng/AB3DMOT

(IROS 2020, ECCVW 2020) “3D 多目标跟踪:基线和新评估指标”的官方 Python 实现

xinshuoweng
⭐ 1,805 Python 👤 xinshuoweng User 🕐 已更新 2024-04-03 📅 创建时间 2019-06-19
39
onestardao/WFGY

WFGY 正在迈向 WFGY 5.0 Polaris Protocol,这是一个针对 AI 推理、RAG、代理和现实世界工作流程的主要开源发布。包括 Problem Map、Global Debug Card、WFGY 4.0 和 CFV 彩蛋。

onestardao
⭐ 1,804 Jupyter Notebook 👤 onestardao User 🕐 已更新 2026-11-21 📅 创建时间 2025-06-04
40
SmartFlowAI/EmoLLM

心理健康大模型 (LLM x Mental Health), Pre & Post-training & Dataset & Evaluation & Depoly & RAG, with InternLM / Qwen / Baichuan / DeepSeek / Mixtral / LLama / GLM series models

SmartFlowAI
⭐ 1,797 Python 👤 SmartFlowAI Organization 🕐 已更新 2026-06-18 📅 创建时间 2024-01-11
41
deepsense-ai/ragbits

用于 GenAI 应用程序快速开发的构建块

deepsense-ai
⭐ 1,678 Python 👤 deepsense-ai Organization 🕐 已更新 2026-05-18 📅 创建时间 2024-09-02
42
MLGroupJLU/LLM-eval-survey

关于调查论文《大型语言模型评估调查》的官方GitHub页面。

MLGroupJLU
⭐ 1,615 👤 MLGroupJLU User 🕐 已更新 2026-11-18 📅 创建时间 2023-07-02
43
sepandhaghighi/pycm

Python 中的多类混淆矩阵库

sepandhaghighi
⭐ 1,507 Python 👤 sepandhaghighi User 🕐 已更新 2026-11-16 📅 创建时间 2018-01-22
44
Maluuba/nlg-eval

自然语言生成各种无监督自动指标的评估代码。

Maluuba
⭐ 1,391 Python 👤 Maluuba Organization 🕐 已更新 2024-08-20 📅 创建时间 2017-06-27
45
NVIDIA-NeMo/Gym

使用环境评估和改进模型和代理

NVIDIA-NeMo
⭐ 1,347 Python 👤 NVIDIA-NeMo Organization 🕐 已更新 2026-11-21 📅 创建时间 2025-08-25
46
ScalingIntelligence/KernelBench

KernelBench: LLM能编写GPU内核吗? - 包含Torch -> CUDA(+更多DSL)的基准测试+工具包

ScalingIntelligence
⭐ 1,336 Jupyter Notebook 👤 ScalingIntelligence Organization 🕐 已更新 2026-03-24 📅 创建时间 2024-10-25
47
TIGER-AI-Lab/ClawBench

针对日常任务的浏览器AI代理开源基准测试。

TIGER-AI-Lab
⭐ 1,325 Python 👤 TIGER-AI-Lab Organization 🕐 已更新 2026-11-05 📅 创建时间 2026-04-10
48
abo-abo/lispy

简洁 LISP 编辑

abo-abo
⭐ 1,297 Emacs Lisp 👤 abo-abo User 🕐 已更新 2026-01-23 📅 创建时间 2014-01-10
49
EthicalML/xai

XAI - 一个用于机器学习的可解释性工具箱

EthicalML
⭐ 1,270 Python 👤 EthicalML Organization 🕐 已更新 2025-11-29 📅 创建时间 2019-01-11
50
plurai-ai/intellagent

使用模拟的、真实的合成交互进行代理的全面诊断和优化的框架

plurai-ai
⭐ 1,266 Python 👤 plurai-ai Organization 🕐 已更新 2026-09-14 📅 创建时间 2024-10-28

常见问题解答

1

GitHub 上最受欢迎的 #evaluation 仓库是什么?

GitHub 上排名第一的开源 #evaluation 项目是 lm-sys/FastChat,拥有 39,550 个 Star。用于训练、部署和评估大型语言模型的开放平台。Vicuna 和 Chatbot Arena 的发布仓库。

2

#evaluation 仓库中最常使用的编程语言有哪些?

在 GitHub 上排名靠前的 #evaluation 项目中,最常见的编程语言是 Python, TypeScript, Jupyter Notebook, Go。

3

#evaluation 仓库的排名是如何计算的?

我们跟踪了 89 个标记为 #evaluation 且拥有 500+ 个 Star 的活跃开源仓库,共计获得 369,872 个 Star,平均每个仓库拥有 4,155 个 Star。排名每日根据 GitHub API 更新。