Git Stars Git Stars

#evaluation 저장소

89
총 리포지토리
369,872
총 별점
4,155
리포지토리당 평균 스타 수

저장소 총 89개

51
chunxiaoxx/nautilus-compass

AI 에이전트를 위한 오픈 메모리 및 신뢰성 계층 + 독립적인 평가/검증(NACRE judge, caliber-bench 메타 벤치마크, 사전 등록된 기준) — Nautilus Platform 제공

chunxiaoxx
⭐ 1,260 Python 👤 chunxiaoxx User 🕐 업데이트됨 2026-11-19 📅 생성됨 2026-04-27
52
run-house/kubetorch

ML 인프라를 위한 PyTorch처럼, Python에서 AI 워크로드를 Kubernetes에 마법처럼 분산하고 실행하세요.

run-house
⭐ 1,228 Python 👤 run-house Organization 🕐 업데이트됨 2026-05-29 📅 생성됨 2022-05-10
53
google/fuzzbench

FuzzBench - 서비스로서의 퍼저 벤치마킹.

google
⭐ 1,211 Python 👤 google Organization 🕐 업데이트됨 2026-01-26 📅 생성됨 2020-02-04
54
toshas/torch-fidelity

PyTorch의 생성 모델에 대한 고충실도 성능 지표

toshas
⭐ 1,205 Python 👤 toshas User 🕐 업데이트됨 2026-10-25 📅 생성됨 2020-04-23
55
ncalc/ncalc

NCalc는 .NET용 빠르고 가벼운 표현식 평가 라이브러리로, 유연성과 높은 성능을 위해 설계되었습니다. 광범위한 수학적 및 논리적 연산을 지원합니다.

ncalc
⭐ 1,172 C# 👤 ncalc Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2017-11-15
56
xinxuxin/keystone-bench

임상 의사결정-근거 벤치마크: 답변이 의존하는 단 하나의 사실을 추출하고, 어시스턴트의 행동이 근거에 따라 달라지는지 확인합니다. HealthBench를 기반으로 구축되었습니다.

xinxuxin
⭐ 1,130 Python 👤 xinxuxin User 🕐 업데이트됨 2026-10-19 📅 생성됨 2026-09-07
57
Jwuthri/Tracely-ai

AI 에이전트를 위한 트레이스 네이티브 CI/CD — 프로덕션 장애를 PR을 차단하는 회귀 테스트로 전환합니다. 자동 감지·클러스터링 후 격리된 테스트 케이스로 고정하고 CI에서 무료로 재생합니다.

Jwuthri
⭐ 1,122 Python 👤 Jwuthri User 🕐 업데이트됨 2026-11-21 📅 생성됨 2026-06-03
58
agentscope-ai/OpenJudge

OpenJudge: 전체적 평가 및 품질 보상 통합 프레임워크

agentscope-ai
⭐ 1,121 Python 👤 agentscope-ai Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2025-07-08
59
prometheus-eval/prometheus-eval

Prometheus와 GPT4로 LLM의 응답을 평가하세요 💯

prometheus-eval
⭐ 1,087 Python 👤 prometheus-eval Organization 🕐 업데이트됨 2025-04-25 📅 생성됨 2024-04-18
60
langchain-ai/langsmith-sdk

LangSmith 클라이언트 SDK 구현

langchain-ai
⭐ 1,082 Python 👤 langchain-ai Organization 🕐 업데이트됨 2026-10-16 📅 생성됨 2023-05-30
61
MAC-AutoML/MindPipe

LLM 및 LVLM을 위한 강력한 모델 압축 프레임워크로, NVIDIA GPU와 Huawei Ascend NPU에 최적화됨.

MAC-AutoML
⭐ 1,013 Python 👤 MAC-AutoML Organization 🕐 업데이트됨 2026-08-11 📅 생성됨 2026-01-22
62
nolabs-ai/deepfabric

단일 파이프라인에서 고품질 합성 데이터 생성, 학습, 측정 및 평가

nolabs-ai
⭐ 896 Python 👤 nolabs-ai Organization 🕐 업데이트됨 2026-11-13 📅 생성됨 2024-10-25
63
PRBonn/semantic-kitti-api

데이터셋 시각화, 데이터 처리 및 결과 평가를 위한 SemanticKITTI API.

PRBonn
⭐ 895 Python 👤 PRBonn Organization 🕐 업데이트됨 2025-04-03 📅 생성됨 2019-07-24
64
suyoumo/ClawProBench

ClawProBench는 OpenClaw 런타임에서 LLM 에이전트를 평가하기 위한 라이브 우선 벤치마크 하네스이며, 결정론적 채점과 반복 시험 신뢰성을 제공합니다.

suyoumo
⭐ 829 Rust 👤 suyoumo User 🕐 업데이트됨 2026-08-25 📅 생성됨 2025-03-02
65
PaesslerAG/gval

golang에서의 표현식 평가

PaesslerAG
⭐ 819 Go 👤 PaesslerAG Organization 🕐 업데이트됨 2026-09-13 📅 생성됨 2017-09-27
66
robocurve/inspect-robots

피지컬 AI를 위한 오픈 소스 평가. 어떤 로봇 팔이나 휴머노이드에서도 임의의 LLM/VLA를 실행하고, 실제 또는 시뮬레이션 환경의 모든 벤치마크를 대상으로 평가하세요.

robocurve
⭐ 776 Python 👤 robocurve Organization 🕐 업데이트됨 2026-11-11 📅 생성됨 2026-06-26
67
angular/web-codegen-scorer

Web Codegen Scorer는 LLM이 생성한 웹 코드의 품질을 평가하기 위한 도구입니다.

angular
⭐ 774 TypeScript 👤 angular Organization 🕐 업데이트됨 2026-05-05 📅 생성됨 2025-09-04
68
IntelLabs/RAG-FiT

파인튜닝을 사용하여 RAG 작업을 위한 LLM을 향상시키는 프레임워크.

IntelLabs
⭐ 766 Python 👤 IntelLabs Organization 🕐 업데이트됨 2026-06-08 📅 생성됨 2024-07-23
69
ModelTC/LightCompress

[EMNLP 2024 & AAAI 2026] LLM, VLM 및 비디오 생성 모델을 포함한 대규모 모델 압축을 위한 강력한 툴킷입니다.

ModelTC
⭐ 755 Python 👤 ModelTC Organization 🕐 업데이트됨 2026-05-14 📅 생성됨 2024-03-06
70
comet-ml/opik-openclaw

🦞 OpenClaw용 공식 플러그인으로, 에이전트 추적을 Opik으로 내보냅니다. 에이전트 동작, 비용, 토큰, 오류 등을 확인하고 모니터링하세요.

comet-ml
⭐ 723 TypeScript 👤 comet-ml Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2026-03-02
71
AgentSafeLabs/safelabs-eval

OWASP에서 영감을 얻은 ASI01–ASI10 분류 체계를 기반으로 하는 AI 에이전트 레드팀 테스트 및 평가 프레임워크

AgentSafeLabs
⭐ 713 Python 👤 AgentSafeLabs Organization 🕐 업데이트됨 2026-11-06 📅 생성됨 2026-05-25
72
bochinski/iou-tracker

IOU Tracker의 Python 구현

bochinski
⭐ 701 Python 👤 bochinski User 🕐 업데이트됨 2026-06-14 📅 생성됨 2017-07-25
73
google-deepmind/long-form-factuality

거대 언어 모델의 장문 사실성 벤치마킹. 저희 논문 "Long-form factuality in large language models"의 원본 코드.

google-deepmind
⭐ 698 Python 👤 google-deepmind Organization 🕐 업데이트됨 2026-06-18 📅 생성됨 2024-03-25
74
AmenRa/ranx

⚡️랭킹 평가, 비교 및 융합을 위한 초고속 Python 라이브러리 🐍

AmenRa
⭐ 691 Python 👤 AmenRa User 🕐 업데이트됨 2025-08-07 📅 생성됨 2020-06-02
75
onejune2018/Awesome-LLM-Eval

Awesome-LLM-Eval: LLM 평가를 위한 도구, 데이터셋/벤치마크, 데모, 리더보드, 논문, 문서 및 모델을 선별한 목록입니다. 생성형 AI의 기술적 경계를 탐구하기 위해 기본 대규모 모델 평가에 주로 초점을 맞춘 도구, 벤치마크/데이터, 데모, 순위표 및 대규모 모델의 선별된 목록입니다.

onejune2018
⭐ 661 👤 onejune2018 User 🕐 업데이트됨 2025-11-24 📅 생성됨 2023-04-26
76
run-llama/ParseBench

ParseBench - AI 에이전트를 위한 문서 파싱 벤치마크

run-llama
⭐ 650 Python 👤 run-llama Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2026-04-10
77
ucinlp/autoprompt

AutoPrompt: 마스크 언어 모델을 위한 자동 프롬프트 구성.

ucinlp
⭐ 643 Python 👤 ucinlp Organization 🕐 업데이트됨 2026-09-02 📅 생성됨 2020-03-01
78
chrisliu298/awesome-llm-unlearning

대규모 언어 모델에서 기계적 학습 해제를 위한 리소스 리포지토리

chrisliu298
⭐ 640 👤 chrisliu298 User 🕐 업데이트됨 2026-10-06 📅 생성됨 2024-03-27
79
onyx-dot-app/EnterpriseRAG-Bench

회사 내부 문서에 대한 RAG 데이터셋 및 벤치마크.

onyx-dot-app
⭐ 639 👤 onyx-dot-app Organization 🕐 업데이트됨 2026-09-03 📅 생성됨 2026-02-19
80
HowieHwong/TrustLLM

[ICML 2024] TrustLLM: 진실성, 안전성, 공정성, 견고성, 개인정보 보호 및 윤리 측면에서 LLM의 신뢰성을 평가합니다. 로컬 모델, 호환 API 및 AI 에이전트 오케스트레이션을 지원하는 Python/CLI 툴킷입니다.

HowieHwong
⭐ 635 Python 👤 HowieHwong User 🕐 업데이트됨 2026-10-04 📅 생성됨 2023-12-23
81
tecnickcom/tcexam

TCExam은 대학, 학교, 기업을 위한 CBA(Computer-Based Assessment) 시스템(e-exam, CBT - Computer Based Testing)으로, 교육자와 훈련자가 설문조사, 퀴즈, 테스트 및 시험을 작성, 예약, 제공 및 보고할 수 있게 합니다.

tecnickcom
⭐ 634 PHP 👤 tecnickcom Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2013-04-15
82
codingseb/ExpressionEvaluator

한 개의 C# 파일에 포함된 간단한 수학과 의사 C# 표현식 평가기. 작은 C# 스크립트도 실행할 수 있습니다.

codingseb
⭐ 630 C# 👤 codingseb User 🕐 업데이트됨 2025-09-08 📅 생성됨 2017-03-15
83
danthedeckie/simpleeval

Python을 위한 간단하고 안전하며 샌드박싱된 확장 가능한 표현식 평가기

danthedeckie
⭐ 618 Python 👤 danthedeckie User 🕐 업데이트됨 2026-10-25 📅 생성됨 2013-12-03
84
DocAILab/XRAG

XRAG: eXamining the Core - 고급 검색 증강 생성에서 기본 구성 요소 모듈 벤치마킹

DocAILab
⭐ 612 Python 👤 DocAILab Organization 🕐 업데이트됨 2026-11-01 📅 생성됨 2024-09-07
85
MMMU-Benchmark/MMMU

이 리포지토리에는 "MMMU: Expert AGI를 위한 대규모 다중 학문 다중 모달 이해 및 추론 벤치마크" 논문의 평가 코드가 포함되어 있습니다.

MMMU-Benchmark
⭐ 601 Python 👤 MMMU-Benchmark Organization 🕐 업데이트됨 2026-11-13 📅 생성됨 2023-11-23
86
jkkummerfeld/text2sql-data

질문과 SQL 쿼리를 짝지어 주는 데이터셋 컬렉션.

jkkummerfeld
⭐ 587 Python 👤 jkkummerfeld User 🕐 업데이트됨 2025-03-03 📅 생성됨 2018-05-11
87
GrumpyZhou/image-matching-toolbox

이것은 이미지 쌍에서 이미지 일치를 수행하는 다양한 방법을 평가하는 데 도움이 되는 도구 상자 저장소입니다.

GrumpyZhou
⭐ 586 Jupyter Notebook 👤 GrumpyZhou User 🕐 업데이트됨 2024-04-29 📅 생성됨 2020-11-24
88
facebookresearch/meta-agents-research-environments

Meta Agents Research Environments는 역동적이고 현실적인 시나리오에서 AI 에이전트를 평가하기 위해 설계된 포괄적인 플랫폼입니다. 정적 벤치마크와 달리, 이 플랫폼은 새로운 정보가 제공됨에 따라 에이전트가 전략을 조정해야 하는 진화하는 환경을 도입하여 실제 세계의 도전 과제를 반영합니다.

facebookresearch
⭐ 581 Python 👤 facebookresearch Organization 🕐 업데이트됨 2026-09-30 📅 생성됨 2025-09-11
89
SeekingDream/Static-to-Dynamic-LLMEval

논문 "Recent advances in large language model benchmarks against data contamination: From static to dynamic evaluation"의 공식 GitHub 저장소

SeekingDream
⭐ 500 👤 SeekingDream User 🕐 업데이트됨 2026-09-28 📅 생성됨 2025-02-21