Git Stars Git Stars

#llm-evaluation 仓库

探索 108 个标记为 #llm-evaluation 的活跃开源 GitHub 仓库,它们累计获得 444,825 个 Star(平均每个项目 4,118 个)。该主题的领先项目是 ifixai-ai/iFixAi,拥有 46,592 个 Star。

108
仓库总数
444,825
总星标数
4,118
平均每个仓库星标数

共 108 个仓库

1
ifixai-ai/iFixAi

AI 智能体独立审计。无论是人工运行还是由智能体自身运行,旨在回答 AI 智能体经济中最关键的问题:该智能体是否在执行其应有的任务?使用 iFixAi,您可以在 120 秒内获得答案。

ifixai-ai
⭐ 46,592 Python 👤 ifixai-ai Organization 🕐 已更新 2026-11-20 📅 创建时间 2026-04-27
2
langfuse/langfuse

🪢 开源 AI 工程平台:基于 OpenTelemetry 构建,提供 AI 网关、智能体可观测性、评估以及提示词/技能管理。一个开放平台,覆盖每一次 AI 调用和每一个智能体。可自行托管,也可使用 Langfuse Cloud。

langfuse
⭐ 37,696 TypeScript 👤 langfuse Organization 🕐 已更新 2026-11-21 📅 创建时间 2023-05-18
3
mlflow/mlflow

开源AI工程平台,适用于代理、大语言模型(LLMs)和机器学习模型。MLflow使各种规模的团队能够调试、评估、监控和优化生产级AI应用,同时控制成本并管理对模型和数据的访问。

mlflow
⭐ 28,920 Python 👤 mlflow Organization 🕐 已更新 2026-11-21 📅 创建时间 2018-06-05
4
promptfoo/promptfoo

测试您的提示词、智能体和 RAG。针对人工智能的红队测试/渗透测试/漏洞扫描。比较 GPT、Claude、Gemini、DeepSeek 等模型的性能。支持命令行和 CI/CD 集成的简单声明式配置。已被 OpenAI 和 Anthropic 使用。

promptfoo
⭐ 27,516 TypeScript 👤 promptfoo Organization 🕐 已更新 2026-11-21 📅 创建时间 2023-04-28
5
huggingface/open-r1

DeepSeek-R1 的完整复现

huggingface
⭐ 26,483 Python 👤 huggingface Organization 🕐 已更新 2026-10-26 📅 创建时间 2025-01-24
6
comet-ml/opik

通过全面的追踪、自动化评估和生产级仪表板,对您的 LLM 应用程序、RAG 系统和代理工作流进行调试、评估和监控。

comet-ml
⭐ 23,479 Java 👤 comet-ml Organization 🕐 已更新 2026-11-21 📅 创建时间 2023-05-10
7
openai/evals

Evals 是一个用于评估 LLM 和 LLM 系统的框架,以及一个开源的基准测试注册中心。

openai
⭐ 19,776 Python 👤 openai Organization 🕐 已更新 2026-04-14 📅 创建时间 2023-01-23
8
confident-ai/deepeval

LLM评估框架

confident-ai
⭐ 19,585 Python 👤 confident-ai Organization 🕐 已更新 2026-11-19 📅 创建时间 2023-08-10
9
Arize-ai/phoenix

AI 可观测性与评估

Arize-ai
⭐ 12,368 Python 👤 Arize-ai Organization 🕐 已更新 2026-11-21 📅 创建时间 2022-11-09
10
NVIDIA/garak

LLM漏洞扫描器

NVIDIA
⭐ 10,122 Python 👤 NVIDIA Organization 🕐 已更新 2026-11-18 📅 创建时间 2023-05-10
11
oumi-ai/oumi

轻松微调(SFT/RL)、评估并部署 Qwen、Gemma 或任何开源智能体 LLM/VLM!

oumi-ai
⭐ 9,441 Python 👤 oumi-ai Organization 🕐 已更新 2026-11-21 📅 创建时间 2024-05-07
12
HKUDS/ClawWork

"ClawWork:OpenClaw 作为你的 AI 同事 - 💰 11 小时赚取 15K 美元"

HKUDS
⭐ 8,574 Python 👤 HKUDS Organization 🕐 已更新 2026-03-03 📅 创建时间 2026-02-15
13
Tencent/AI-Infra-Guard

一个全栈式 AI 红队测试平台,通过 Agent 扫描、Skills 扫描、MCP 扫描、AI 基础设施扫描和 LLM 越狱评估,保障 AI 生态系统安全。

Tencent
⭐ 7,604 Python 👤 Tencent Organization 🕐 已更新 2026-11-20 📅 创建时间 2024-12-25
14
gepa-ai/gepa

利用AI驱动的反思性优化,优化提示、代码等更多内容

gepa-ai
⭐ 7,523 Jupyter Notebook 👤 gepa-ai Organization 🕐 已更新 2026-11-21 📅 创建时间 2025-08-05
15
gkamradt/langchain-tutorials

LangChain 库概述和教程

gkamradt
⭐ 7,350 Jupyter Notebook 👤 gkamradt User 🕐 已更新 2024-08-05 📅 创建时间 2023-02-13
16
simplescaling/s1

s1: 简单的测试时间缩放

simplescaling
⭐ 6,656 Python 👤 simplescaling Organization 🕐 已更新 2025-06-25 📅 创建时间 2025-02-01
17
jeinlee1991/chinese-llm-benchmark

非线智能 NoneLinear - ReLE评测:中文AI大模型能力评测(持续更新):目前已囊括374个大模型,覆盖chatgpt、gpt-5.4、谷歌gemini-3.1-pro、Claude-4.6、文心ERNIE-X1.1、ERNIE-5.0、qwen3.6-max、qwen3.6-plus、百川、讯飞星火、商汤senseChat等商用模型, 以及step3.5-flash、kimi-k2.6、ernie4.5、MiniMax-M2.7、deepseek-v4、Qwen3.6、llama4、智谱GLM-5.1、MiMo-V2、LongCat、gemma4、mistral等开源大模型。不仅提供排行榜,也提供规模超200万的大模型缺陷库!方便广大社区研究分析、改进大模型。

jeinlee1991
⭐ 6,522 👤 jeinlee1991 User 🕐 已更新 2026-11-20 📅 创建时间 2023-06-04
18
Q00/ouroboros

Agent OS:智能体会自行变得更聪明。我们只需守住底线:面试把关、分阶段评估、预算约束的迭代进化闭环。MCP 服务器,支持 14 个运行时:Claude Code、Codex CLI、Gemini CLI、OpenCode、Copilot、Kiro 等。

Q00
⭐ 6,385 Python 👤 Q00 User 🕐 已更新 2026-11-21 📅 创建时间 2026-01-14
19
Helicone/helicone

🧊 开源 LLM 可观测性平台。一行代码即可进行监控、评估和实验。YC W23 🍓

Helicone
⭐ 6,292 TypeScript 👤 Helicone Organization 🕐 已更新 2026-11-17 📅 创建时间 2023-01-31
20
Giskard-AI/giskard-oss

🐢 面向 LLM 智能体的开源评估与测试库

Giskard-AI
⭐ 5,965 Python 👤 Giskard-AI Organization 🕐 已更新 2026-11-20 📅 创建时间 2022-03-06
21
PacktPublishing/LLM-Engineers-Handbook

LLM 实战指南:从基础知识到在 AWS 上部署高级 LLM 和 RAG 应用,遵循 LLMOps 最佳实践

PacktPublishing
⭐ 5,438 Python 👤 PacktPublishing Organization 🕐 已更新 2026-04-22 📅 创建时间 2024-04-09
22
going-doer/Paper2Code

Paper2Code: 机器学习科学论文自动生成代码

going-doer
⭐ 5,044 Python 👤 going-doer User 🕐 已更新 2026-03-25 📅 创建时间 2025-04-25
23
EvolvingLMMs-Lab/lmms-eval

文本、图像、视频和音频任务的“统一评估”多模态工具包

EvolvingLMMs-Lab
⭐ 4,501 Python 👤 EvolvingLMMs-Lab Organization 🕐 已更新 2026-11-20 📅 创建时间 2024-03-07
24
hemansnation/AI-Engineer-Headquarters

一套用于构建故事和模型的科学方法、流程、算法和系统。

hemansnation
⭐ 3,782 Jupyter Notebook 👤 hemansnation User 🕐 已更新 2026-10-28 📅 创建时间 2022-03-29
25
truera/trulens

LLM实验与AI代理的评估与追踪

truera
⭐ 3,665 Python 👤 truera Organization 🕐 已更新 2026-11-20 📅 创建时间 2020-11-02
26
lmnr-ai/lmnr

Laminar——专为 AI 代理构建的开源可观测性平台。YC S24。

lmnr-ai
⭐ 3,516 TypeScript 👤 lmnr-ai Organization 🕐 已更新 2026-11-20 📅 创建时间 2024-08-29
27
openai/human-eval

论文“Evaluating Large Language Models Trained on Code”的代码

openai
⭐ 3,431 Python 👤 openai Organization 🕐 已更新 2026-10-16 📅 创建时间 2021-07-06
28
Sumanth077/ai-engineering-toolkit

为构建 LLM 的 AI 工程师精选的 100 多个库和框架列表

Sumanth077
⭐ 3,402 👤 Sumanth077 User 🕐 已更新 2026-05-11 📅 创建时间 2025-08-06
29
UKGovernmentBEIS/inspect_ai

Inspect:用于大型语言模型评估的框架

UKGovernmentBEIS
⭐ 3,302 Python 👤 UKGovernmentBEIS Organization 🕐 已更新 2026-11-20 📅 创建时间 2023-11-14
30
FranxYao/chain-of-thought-hub

使用思维链提示对大型语言模型的复杂推理能力进行基准测试

FranxYao
⭐ 2,762 Jupyter Notebook 👤 FranxYao User 🕐 已更新 2024-08-04 📅 创建时间 2023-03-10
31
genieincodebottle/generative-ai

关于生成式 AI 的综合资源,包括详细的路线图、项目、用例、面试准备和编码准备。

genieincodebottle
⭐ 2,675 Jupyter Notebook 👤 genieincodebottle User 🕐 已更新 2026-11-09 📅 创建时间 2024-01-09
32
gkamradt/needle-in-a-haystack

对具有不同上下文长度的LLM模型进行简单检索以衡量准确性

gkamradt
⭐ 2,408 Jupyter Notebook 👤 gkamradt User 🕐 已更新 2026-06-08 📅 创建时间 2023-11-11
33
future-agi/future-agi

开源端到端平台,用于评估、观察和改进 LLM 和 AI 代理应用。Tracing · Evals · Simulations · Datasets · Gateway · Guardrails。自托管。Apache 2.0。

future-agi
⭐ 2,284 Python 👤 future-agi Organization 🕐 已更新 2026-11-21 📅 创建时间 2026-04-23
34
break-into-data/ai-engineer-toolkit

项目和资源,帮助您成为更优秀的 AI 开发者。

break-into-data
⭐ 2,189 TypeScript 👤 break-into-data Organization 🕐 已更新 2025-09-15 📅 创建时间 2025-02-24
36
msoedov/agentic_security

Agentic LLM 易受攻击性扫描器 / AI 红队演练套件 🧪

msoedov
⭐ 2,048 Python 👤 msoedov User 🕐 已更新 2026-11-19 📅 创建时间 2024-04-11
37
ai-that-works/ai-that-works

🦄 有效的人工智能 - 每周二 PST 上午 10 点

ai-that-works
⭐ 2,016 TypeScript 👤 ai-that-works Organization 🕐 已更新 2026-11-19 📅 创建时间 2025-04-02
39
centerforaisafety/hle

人类的最后考试

centerforaisafety
⭐ 1,749 Python 👤 centerforaisafety Organization 🕐 已更新 2026-09-23 📅 创建时间 2025-01-23
41
lizhe2004/Awesome-LLM-RAG-Application

关于基于 RAG 模式的 LLM 应用程序的资源

lizhe2004
⭐ 1,662 👤 lizhe2004 User 🕐 已更新 2026-10-12 📅 创建时间 2023-12-27
42
huggingface/aisheets

无需代码,即可使用 AI 模型构建、丰富和转换数据集

huggingface
⭐ 1,656 TypeScript 👤 huggingface Organization 🕐 已更新 2026-09-23 📅 创建时间 2025-01-16
43
cyberark/FuzzyAI

一个强大的自动化 LLM Fuzzing 工具。它旨在帮助开发人员和安全研究人员识别和缓解其 LLM API 中潜在的越狱问题。

cyberark
⭐ 1,611 Jupyter Notebook 👤 cyberark Organization 🕐 已更新 2026-02-06 📅 创建时间 2024-12-03
44
sierra-research/tau-bench

Tau-Bench 的代码和数据

sierra-research
⭐ 1,514 Python 👤 sierra-research Organization 🕐 已更新 2026-03-18 📅 创建时间 2024-06-06
45
safety-research/bloom

bloom - 立即评估任何行为 🌸🌱

safety-research
⭐ 1,429 Python 👤 safety-research Organization 🕐 已更新 2026-05-07 📅 创建时间 2025-06-24
47
meridianlabs-ai/inspect_petri

一种能够快速探索对齐假设的对齐审计代理

meridianlabs-ai
⭐ 1,421 Python 👤 meridianlabs-ai Organization 🕐 已更新 2026-11-20 📅 创建时间 2025-08-19
48
TIGER-AI-Lab/ClawBench

针对日常任务的浏览器AI代理开源基准测试。

TIGER-AI-Lab
⭐ 1,325 Python 👤 TIGER-AI-Lab Organization 🕐 已更新 2026-11-05 📅 创建时间 2026-04-10
49
microsoft/prompty

Prompty 可轻松为您的 AI 应用程序创建、管理、调试和评估 LLM prompts。Prompty 是一种 LLM prompts 的资产类别和格式,旨在提高开发者的可观察性、可理解性和可移植性。

microsoft
⭐ 1,288 Rust 👤 microsoft Organization 🕐 已更新 2026-11-09 📅 创建时间 2024-04-22
50
langchain-ai/openevals

适用于您 LLM 应用的现成评估器

langchain-ai
⭐ 1,259 Python 👤 langchain-ai Organization 🕐 已更新 2026-11-18 📅 创建时间 2025-02-08

常见问题解答

1

GitHub 上最受欢迎的 #llm-evaluation 仓库是什么?

GitHub 上排名第一的开源 #llm-evaluation 项目是 ifixai-ai/iFixAi,拥有 46,592 个 Star。AI 智能体独立审计。无论是人工运行还是由智能体自身运行,旨在回答 AI 智能体经济中最关键的问题:该智能体是否在执行其应有的任务?使用 iFixAi,您可以在 120 秒内获得答案。

2

#llm-evaluation 仓库中最常使用的编程语言有哪些?

在 GitHub 上排名靠前的 #llm-evaluation 项目中,最常见的编程语言是 Python, Jupyter Notebook, TypeScript, Java。

3

#llm-evaluation 仓库的排名是如何计算的?

我们跟踪了 108 个标记为 #llm-evaluation 且拥有 500+ 个 Star 的活跃开源仓库,共计获得 444,825 个 Star,平均每个仓库拥有 4,118 个 Star。排名每日根据 GitHub API 更新。