Git Stars Git Stars

#llm-evaluation 저장소

108
총 리포지토리
444,825
총 별점
4,118
리포지토리당 평균 스타 수

저장소 총 108개

51
JackHopkins/factorio-learning-environment

Factorio에서 LLM을 평가하기 위한 비포화, 개방형 환경

JackHopkins
⭐ 1,224 Python 👤 JackHopkins User 🕐 업데이트됨 2026-09-18 📅 생성됨 2021-06-19
52
cvs-health/uqlm

[JMLR 2026] UQLM: 불확실성 정량화를 활용해 대규모 언어 모델의 환각을 탐지하는 Python 패키지

cvs-health
⭐ 1,215 Python 👤 cvs-health Organization 🕐 업데이트됨 2026-11-08 📅 생성됨 2025-04-17
54
togethercomputer/together-cookbook

Together AI와 함께 오픈 소스 모델의 사용 사례를 보여주는 노트북/레시피 모음입니다.

togethercomputer
⭐ 1,191 Jupyter Notebook 👤 togethercomputer Organization 🕐 업데이트됨 2026-11-18 📅 생성됨 2024-10-07
55
wandb/weave

Weave는 Weights & Biases에서 구축한 AI 기반 애플리케이션 개발을 위한 툴킷입니다.

wandb
⭐ 1,151 Python 👤 wandb Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2023-06-07
56
xinxuxin/keystone-bench

임상 의사결정-근거 벤치마크: 답변이 의존하는 단 하나의 사실을 추출하고, 어시스턴트의 행동이 근거에 따라 달라지는지 확인합니다. HealthBench를 기반으로 구축되었습니다.

xinxuxin
⭐ 1,130 Python 👤 xinxuxin User 🕐 업데이트됨 2026-10-19 📅 생성됨 2026-09-07
57
Jwuthri/Tracely-ai

AI 에이전트를 위한 트레이스 네이티브 CI/CD — 프로덕션 장애를 PR을 차단하는 회귀 테스트로 전환합니다. 자동 감지·클러스터링 후 격리된 테스트 케이스로 고정하고 CI에서 무료로 재생합니다.

Jwuthri
⭐ 1,122 Python 👤 Jwuthri User 🕐 업데이트됨 2026-11-21 📅 생성됨 2026-06-03
58
Arena-OSS/arena-hard-auto

Arena-Hard-Auto: 자동 LLM 벤치마크입니다.

Arena-OSS
⭐ 1,087 Python 👤 Arena-OSS Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2023-11-04
59
braintrustdata/autoevals

AutoEvals는 모범 사례를 사용하여 AI 모델 출력을 빠르고 쉽게 평가하는 도구입니다.

braintrustdata
⭐ 1,087 Python 👤 braintrustdata Organization 🕐 업데이트됨 2026-11-19 📅 생성됨 2023-07-11
60
Continuum-AI-Corp/OrcaReplay

OrcaReplay — AI 에이전트를 위한 시간 여행. 어떤 모델로 실행한 에이전트든 기록하고, 재생하고, 분기하고, 디버깅할 수 있습니다. OrcaRouter.ai 팀이 만들었습니다.

Continuum-AI-Corp
⭐ 1,083 TypeScript 👤 Continuum-AI-Corp Organization 🕐 업데이트됨 2026-10-01 📅 생성됨 2026-08-29
62
JudgmentLabs/judgeval

에이전트를 위한 지속적 개선 스택. 우리의 환경 데이터와 평가는 에이전트의 개선과 모니터링을 지원합니다.

JudgmentLabs
⭐ 1,073 Python 👤 JudgmentLabs Organization 🕐 업데이트됨 2026-11-19 📅 생성됨 2024-10-25
63
ray-project/llmperf

LLMPerf는 LLM을 검증하고 벤치마킹하기 위한 라이브러리입니다

ray-project
⭐ 1,066 Python 👤 ray-project Organization 🕐 업데이트됨 2024-12-09 📅 생성됨 2023-10-10
64
benchflow-ai/awesome-evals

AI 에이전트 구축 및 평가를 위한 최고의 리소스를 엄선한, 불필요한 내용 없는 라이브러리 — 논문, 블로그, 강연, 도구, 벤치마크. BenchFlow가 유지 관리합니다.

benchflow-ai
⭐ 1,049 👤 benchflow-ai Organization 🕐 업데이트됨 2026-11-04 📅 생성됨 2026-06-24
65
amazon-science/RAGChecker

RAGChecker: RAG 진단을 위한 세밀한 프레임워크

amazon-science
⭐ 1,032 Python 👤 amazon-science Organization 🕐 업데이트됨 2024-12-13 📅 생성됨 2024-06-24
66
majacinka/crewai-experiments

로컬 모델 및 API를 통해 사용 가능한 모델에 대한 실험

majacinka
⭐ 1,006 Python 👤 majacinka User 🕐 업데이트됨 2024-05-05 📅 생성됨 2024-01-13
67
KCORES/kcores-llm-arena

KCORES 팀의 LLM 아레나

KCORES
⭐ 960 HTML 👤 KCORES Organization 🕐 업데이트됨 2025-04-29 📅 생성됨 2025-02-12
68
superwesleyhys-ux/factcircuit

FactCircuit: 변경 불가능한 출처 기록, 단계별 검사, 제한된 검색, 재현 가능한 평가를 갖춘 감사 가능한 주장·증거 검증 루프.

superwesleyhys-ux
⭐ 926 Python 👤 superwesleyhys-ux User 🕐 업데이트됨 2026-11-13 📅 생성됨 2026-09-06
70
hinthornw/promptimizer

프롬프트 최적화 스크래치

hinthornw
⭐ 899 Python 👤 hinthornw User 🕐 업데이트됨 2025-04-17 📅 생성됨 2024-10-30
71
xlang-ai/Spider2

[ICLR 2025 Oral] Spider 2.0: 실제 기업 텍스트-SQL 워크플로에 대한 언어 모델 평가

xlang-ai
⭐ 890 HTML 👤 xlang-ai Organization 🕐 업데이트됨 2026-08-12 📅 생성됨 2024-08-22
72
yule-BUAA/MergeLM

언어 모델 병합 코드베이스 (ICML 2024)

yule-BUAA
⭐ 862 Python 👤 yule-BUAA User 🕐 업데이트됨 2024-05-05 📅 생성됨 2023-11-06
73
jwuthri-cloud/Tracely-ai

AI 에이전트를 위한 트레이스 네이티브 CI/CD: 프로덕션 트레이스를 평가하고, 실패를 클러스터링해 재생 가능한 회귀 테스트로 고정하며, 회귀를 유발하는 PR을 차단합니다. 자체 호스팅 가능.

jwuthri-cloud
⭐ 850 Python 👤 jwuthri-cloud User 🕐 업데이트됨 2026-11-16 📅 생성됨 2026-10-11
74
darkrishabh/agent-skills-eval

agentskills.io 스타일의 AI 에이전트 기술을 위한 테스트 러너

darkrishabh
⭐ 819 TypeScript 👤 darkrishabh User 🕐 업데이트됨 2026-11-16 📅 생성됨 2026-05-06
75
tjunlp-lab/Awesome-LLMs-Evaluation-Papers

논문은 우리 설문 조사에 따라 구성되었습니다: Evaluating Large Language Models: A Comprehensive Survey.

tjunlp-lab
⭐ 791 👤 tjunlp-lab User 🕐 업데이트됨 2024-05-08 📅 생성됨 2023-10-29
77
overmind-core/overmind

AI 에이전트를 지속적으로 개선하는 플랫폼.

overmind-core
⭐ 771 Python 👤 overmind-core Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2026-03-27
79
OpenLMLab/GAOKAO-Bench

GAOKAO-Bench는 대규모 언어 모델을 평가하기 위해 GAOKAO 질문을 데이터셋으로 활용하는 평가 프레임워크입니다.

OpenLMLab
⭐ 754 Python 👤 OpenLMLab Organization 🕐 업데이트됨 2025-01-07 📅 생성됨 2023-04-16
80
EverMind-AI/SkillCorpus

흩어져 있는 SKILL.md 파일을 선별·정리된 검색 가능한 에이전트 스킬 코퍼스로 변환하는 오픈 소스 인프라로, 검색 및 평가 도구가 포함되어 있습니다.

EverMind-AI
⭐ 706 Python 👤 EverMind-AI Organization 🕐 업데이트됨 2026-11-19 📅 생성됨 2026-08-11
81
Steven-Luo/MasteringRAG

기업용 RAG 시스템: 입문부터 숙달까지

Steven-Luo
⭐ 699 Jupyter Notebook 👤 Steven-Luo User 🕐 업데이트됨 2025-06-25 📅 생성됨 2024-07-16
82
mlabonne/llm-autoeval

Google Colab에서 LLM을 자동으로 평가하세요

mlabonne
⭐ 678 Python 👤 mlabonne User 🕐 업데이트됨 2024-05-07 📅 생성됨 2024-01-01
83
onejune2018/Awesome-LLM-Eval

Awesome-LLM-Eval: LLM 평가를 위한 도구, 데이터셋/벤치마크, 데모, 리더보드, 논문, 문서 및 모델을 선별한 목록입니다. 생성형 AI의 기술적 경계를 탐구하기 위해 기본 대규모 모델 평가에 주로 초점을 맞춘 도구, 벤치마크/데이터, 데모, 순위표 및 대규모 모델의 선별된 목록입니다.

onejune2018
⭐ 661 👤 onejune2018 User 🕐 업데이트됨 2025-11-24 📅 생성됨 2023-04-26
84
wanghao-SunSky/cs329z-chinese

Stanford CS329Z Engineering AI Agents 중국어 튜토리얼: Python 개발자를 위한 AI 에이전트 강좌로, 19개 강의와 4개 실습 프로젝트를 통해 LLM, RAG, 도구 호출, 메모리, 멀티에이전트, 평가 및 안전을 다룹니다. 전체 Markdown과 온라인·오프라인 HTML을 제공합니다. 중국어 강의 노트.

wanghao-SunSky
⭐ 658 HTML 👤 wanghao-SunSky User 🕐 업데이트됨 2026-11-06 📅 생성됨 2026-10-28
85
ValueByte-AI/Awesome-LLM-in-Social-Science

사회 과학 분야의 LLM 관련 훌륭한 논문.

ValueByte-AI
⭐ 652 👤 ValueByte-AI Organization 🕐 업데이트됨 2026-11-14 📅 생성됨 2023-10-15
86
codefuse-ai/codefuse-devops-eval

DevOps/AIOps 도메인 내 LLM에 대한 업계 최초 평가 벤치마크.

codefuse-ai
⭐ 646 Python 👤 codefuse-ai Organization 🕐 업데이트됨 2024-07-10 📅 생성됨 2023-09-28
87
onyx-dot-app/EnterpriseRAG-Bench

회사 내부 문서에 대한 RAG 데이터셋 및 벤치마크.

onyx-dot-app
⭐ 639 👤 onyx-dot-app Organization 🕐 업데이트됨 2026-09-03 📅 생성됨 2026-02-19
88
HowieHwong/TrustLLM

[ICML 2024] TrustLLM: 진실성, 안전성, 공정성, 견고성, 개인정보 보호 및 윤리 측면에서 LLM의 신뢰성을 평가합니다. 로컬 모델, 호환 API 및 AI 에이전트 오케스트레이션을 지원하는 Python/CLI 툴킷입니다.

HowieHwong
⭐ 635 Python 👤 HowieHwong User 🕐 업데이트됨 2026-10-04 📅 생성됨 2023-12-23
89
inclusionAI/ASearcher

검색 에이전트를 위한 오픈 소스 대규모 강화 학습 프로젝트

inclusionAI
⭐ 617 Python 👤 inclusionAI Organization 🕐 업데이트됨 2025-11-26 📅 생성됨 2025-08-05
90
mlfoundations/evalchemy

LLM에 대한 자동 평가

mlfoundations
⭐ 617 HTML 👤 mlfoundations Organization 🕐 업데이트됨 2026-11-12 📅 생성됨 2024-11-15
92
SalesforceAIResearch/MCP-Universe

MCP-Universe는 RL 훈련, 벤치마킹 및 일반 도구 사용을 위한 AI 에이전트 개발을 위해 설계된 포괄적인 프레임워크입니다.

SalesforceAIResearch
⭐ 606 Python 👤 SalesforceAIResearch Organization 🕐 업데이트됨 2026-10-08 📅 생성됨 2025-05-02
93
CSHaitao/Awesome-LLMs-as-Judges

논문 "LLMs-as-Judges: LLM 기반 평가 방법에 대한 포괄적 조사"의 공식 리포.

CSHaitao
⭐ 600 👤 CSHaitao User 🕐 업데이트됨 2025-07-29 📅 생성됨 2024-11-10
94
harish-gaggar/mcp-server-gateway

MCP 게이트웨이 및 OAuth MCP 서버. LangGraph 에이전트: 메모리, 평가/추적, 개인 식별 정보(PII) 보호, 컨텍스트 축소. 엔터프라이즈 에이전트를 위한 Docker 빠른 시작.

harish-gaggar
⭐ 588 Python 👤 harish-gaggar User 🕐 업데이트됨 2026-10-03 📅 생성됨 2026-08-17
95
yfzhang114/Thyme

✨✨ [ICLR 2026] 이미지를 넘어 생각해 보세요

yfzhang114
⭐ 585 Python 👤 yfzhang114 User 🕐 업데이트됨 2025-09-23 📅 생성됨 2025-08-17
96
General-Analysis/GA

AI 모델을 더 안전하게 만들기 위한 탈옥 기술 백과사전.

General-Analysis
⭐ 583 Jupyter Notebook 👤 General-Analysis Organization 🕐 업데이트됨 2025-05-26 📅 생성됨 2025-01-18
98
juanjuandog/FinSight-AI

복원력 있는 워크플로, 근거 기반 RAG, 버전 관리 보고서, 자동화된 품질 평가를 제공하는 AI 주식 리서치 에이전트.

juanjuandog
⭐ 562 Java 👤 juanjuandog User 🕐 업데이트됨 2026-09-02 📅 생성됨 2026-05-11
100
RUCAIBox/HaluEval

이는 대규모 언어 모델을 위한 대규모 환각 평가 벤치마크인 HaluEval의 저장소입니다.

RUCAIBox
⭐ 540 Python 👤 RUCAIBox Organization 🕐 업데이트됨 2024-02-12 📅 생성됨 2023-05-18