#llm-evaluation 저장소
저장소 총 108개
임상 의사결정-근거 벤치마크: 답변이 의존하는 단 하나의 사실을 추출하고, 어시스턴트의 행동이 근거에 따라 달라지는지 확인합니다. HealthBench를 기반으로 구축되었습니다.
AI 에이전트를 위한 트레이스 네이티브 CI/CD — 프로덕션 장애를 PR을 차단하는 회귀 테스트로 전환합니다. 자동 감지·클러스터링 후 격리된 테스트 케이스로 고정하고 CI에서 무료로 재생합니다.
OrcaReplay — AI 에이전트를 위한 시간 여행. 어떤 모델로 실행한 에이전트든 기록하고, 재생하고, 분기하고, 디버깅할 수 있습니다. OrcaRouter.ai 팀이 만들었습니다.
AI 에이전트 구축 및 평가를 위한 최고의 리소스를 엄선한, 불필요한 내용 없는 라이브러리 — 논문, 블로그, 강연, 도구, 벤치마크. BenchFlow가 유지 관리합니다.
FactCircuit: 변경 불가능한 출처 기록, 단계별 검사, 제한된 검색, 재현 가능한 평가를 갖춘 감사 가능한 주장·증거 검증 루프.
AI 에이전트를 위한 트레이스 네이티브 CI/CD: 프로덕션 트레이스를 평가하고, 실패를 클러스터링해 재생 가능한 회귀 테스트로 고정하며, 회귀를 유발하는 PR을 차단합니다. 자체 호스팅 가능.
논문은 우리 설문 조사에 따라 구성되었습니다: Evaluating Large Language Models: A Comprehensive Survey.
흩어져 있는 SKILL.md 파일을 선별·정리된 검색 가능한 에이전트 스킬 코퍼스로 변환하는 오픈 소스 인프라로, 검색 및 평가 도구가 포함되어 있습니다.
Awesome-LLM-Eval: LLM 평가를 위한 도구, 데이터셋/벤치마크, 데모, 리더보드, 논문, 문서 및 모델을 선별한 목록입니다. 생성형 AI의 기술적 경계를 탐구하기 위해 기본 대규모 모델 평가에 주로 초점을 맞춘 도구, 벤치마크/데이터, 데모, 순위표 및 대규모 모델의 선별된 목록입니다.
Stanford CS329Z Engineering AI Agents 중국어 튜토리얼: Python 개발자를 위한 AI 에이전트 강좌로, 19개 강의와 4개 실습 프로젝트를 통해 LLM, RAG, 도구 호출, 메모리, 멀티에이전트, 평가 및 안전을 다룹니다. 전체 Markdown과 온라인·오프라인 HTML을 제공합니다. 중국어 강의 노트.
[ICML 2024] TrustLLM: 진실성, 안전성, 공정성, 견고성, 개인정보 보호 및 윤리 측면에서 LLM의 신뢰성을 평가합니다. 로컬 모델, 호환 API 및 AI 에이전트 오케스트레이션을 지원하는 Python/CLI 툴킷입니다.
MCP-Universe는 RL 훈련, 벤치마킹 및 일반 도구 사용을 위한 AI 에이전트 개발을 위해 설계된 포괄적인 프레임워크입니다.
MCP 게이트웨이 및 OAuth MCP 서버. LangGraph 에이전트: 메모리, 평가/추적, 개인 식별 정보(PII) 보호, 컨텍스트 축소. 엔터프라이즈 에이전트를 위한 Docker 빠른 시작.