#evaluation 저장소
저장소 총 89개
AI 에이전트를 위한 오픈 메모리 및 신뢰성 계층 + 독립적인 평가/검증(NACRE judge, caliber-bench 메타 벤치마크, 사전 등록된 기준) — Nautilus Platform 제공
NCalc는 .NET용 빠르고 가벼운 표현식 평가 라이브러리로, 유연성과 높은 성능을 위해 설계되었습니다. 광범위한 수학적 및 논리적 연산을 지원합니다.
임상 의사결정-근거 벤치마크: 답변이 의존하는 단 하나의 사실을 추출하고, 어시스턴트의 행동이 근거에 따라 달라지는지 확인합니다. HealthBench를 기반으로 구축되었습니다.
AI 에이전트를 위한 트레이스 네이티브 CI/CD — 프로덕션 장애를 PR을 차단하는 회귀 테스트로 전환합니다. 자동 감지·클러스터링 후 격리된 테스트 케이스로 고정하고 CI에서 무료로 재생합니다.
ClawProBench는 OpenClaw 런타임에서 LLM 에이전트를 평가하기 위한 라이브 우선 벤치마크 하네스이며, 결정론적 채점과 반복 시험 신뢰성을 제공합니다.
피지컬 AI를 위한 오픈 소스 평가. 어떤 로봇 팔이나 휴머노이드에서도 임의의 LLM/VLA를 실행하고, 실제 또는 시뮬레이션 환경의 모든 벤치마크를 대상으로 평가하세요.
[EMNLP 2024 & AAAI 2026] LLM, VLM 및 비디오 생성 모델을 포함한 대규모 모델 압축을 위한 강력한 툴킷입니다.
🦞 OpenClaw용 공식 플러그인으로, 에이전트 추적을 Opik으로 내보냅니다. 에이전트 동작, 비용, 토큰, 오류 등을 확인하고 모니터링하세요.
거대 언어 모델의 장문 사실성 벤치마킹. 저희 논문 "Long-form factuality in large language models"의 원본 코드.
Awesome-LLM-Eval: LLM 평가를 위한 도구, 데이터셋/벤치마크, 데모, 리더보드, 논문, 문서 및 모델을 선별한 목록입니다. 생성형 AI의 기술적 경계를 탐구하기 위해 기본 대규모 모델 평가에 주로 초점을 맞춘 도구, 벤치마크/데이터, 데모, 순위표 및 대규모 모델의 선별된 목록입니다.
[ICML 2024] TrustLLM: 진실성, 안전성, 공정성, 견고성, 개인정보 보호 및 윤리 측면에서 LLM의 신뢰성을 평가합니다. 로컬 모델, 호환 API 및 AI 에이전트 오케스트레이션을 지원하는 Python/CLI 툴킷입니다.
TCExam은 대학, 학교, 기업을 위한 CBA(Computer-Based Assessment) 시스템(e-exam, CBT - Computer Based Testing)으로, 교육자와 훈련자가 설문조사, 퀴즈, 테스트 및 시험을 작성, 예약, 제공 및 보고할 수 있게 합니다.
이 리포지토리에는 "MMMU: Expert AGI를 위한 대규모 다중 학문 다중 모달 이해 및 추론 벤치마크" 논문의 평가 코드가 포함되어 있습니다.
Meta Agents Research Environments는 역동적이고 현실적인 시나리오에서 AI 에이전트를 평가하기 위해 설계된 포괄적인 플랫폼입니다. 정적 벤치마크와 달리, 이 플랫폼은 새로운 정보가 제공됨에 따라 에이전트가 전략을 조정해야 하는 진화하는 환경을 도입하여 실제 세계의 도전 과제를 반영합니다.
논문 "Recent advances in large language model benchmarks against data contamination: From static to dynamic evaluation"의 공식 GitHub 저장소