#benchmark 저장소
저장소 총 193개
BenchMARL은 다중 에이전트 강화 학습(MARL) 벤치마킹을 위한 라이브러리입니다. BenchMARL을 사용하면 재현성과 표준화라는 두 가지 핵심 원칙에 체계적으로 기반을 두면서 다양한 MARL 알고리즘, 작업 및 모델을 신속하게 비교할 수 있습니다.
AgentLab: 다양한 태스크에서 웹 에이전트를 개발, 테스트 및 벤치마킹하기 위한 오픈소스 프레임워크로, 확장성과 재현성을 위해 설계되었습니다。
Awesome-LLM-Eval: LLM 평가를 위한 도구, 데이터셋/벤치마크, 데모, 리더보드, 논문, 문서 및 모델을 선별한 목록입니다. 생성형 AI의 기술적 경계를 탐구하기 위해 기본 대규모 모델 평가에 주로 초점을 맞춘 도구, 벤치마크/데이터, 데모, 순위표 및 대규모 모델의 선별된 목록입니다.
[ICML 2024] TrustLLM: 진실성, 안전성, 공정성, 견고성, 개인정보 보호 및 윤리 측면에서 LLM의 신뢰성을 평가합니다. 로컬 모델, 호환 API 및 AI 에이전트 오케스트레이션을 지원하는 Python/CLI 툴킷입니다.
인도네시아어 최초의 방대한 자연어 처리 벤치마크입니다. 여러 하위 작업, 사전 훈련된 IndoBERT 모델 및 시작 코드를 제공합니다! (AACL-IJCNLP 2020)
JailbreakBench: 언어 모델 탈옥을 위한 개방형 견고성 벤치마크 [NeurIPS 2024 데이터셋 및 벤치마크 트랙]
Aixio Layer v2는 가능한 경우 평면화된 디자인에서 편집 가능한 레이어를 복원합니다. 150개 디자인 벤치마크를 통해 Canva Magic Layers, Qwen-Image-Layer 및 GPT-6 Astra Ultra와 비교합니다.
Meta Agents Research Environments는 역동적이고 현실적인 시나리오에서 AI 에이전트를 평가하기 위해 설계된 포괄적인 플랫폼입니다. 정적 벤치마크와 달리, 이 플랫폼은 새로운 정보가 제공됨에 따라 에이전트가 전략을 조정해야 하는 진화하는 환경을 도입하여 실제 세계의 도전 과제를 반영합니다.
몇 가지 프로그래밍 언어(JavaScript, Kotlin, Rust, Swift, Nim, Python, Go, Haskell, D, C++, Java, C#, Object Pascal, Ada, Lua, Ruby)의 순진한 성능 비교
CPU, GPU 및 NPU의 최대 연산 성능, 메모리 대역폭 및 지연 시간: 디바이스에 접근하는 모든 API를 통해 동일한 테스트를 실행합니다. Windows, macOS, Linux 및 Android용 명령줄 도구와 앱
GraphRAG 모델 평가를 위한 GraphRAG-Bench 공식 저장소. 「RAG에서 그래프를 사용해야 할 때: 그래프 검색 증강 생성에 대한 종합 분석」. (ICLR'26)
토큰 초과? 당장 스미스에게 전화하세요! Better Call Smith. 적응형 모델 라우팅, 세련된 Codex 사용량 모니터, 그리고 증빙 자료가 포함된 재현 가능한 벤치마크.
논문 "Recent advances in large language model benchmarks against data contamination: From static to dynamic evaluation"의 공식 GitHub 저장소