#benchmark 仓库
共 193 个仓库
BenchMARL是一个用于多智能体强化学习(MARL)基准测试的库。BenchMARL允许快速比较不同的MARL算法、任务和模型,同时系统地遵循其两大核心原则:可复现性和标准化。
Awesome-LLM-Eval: a curated list of tools, datasets/benchmark, demos, leaderboard, papers, docs and models, mainly for Evaluation on LLMs. 一个由工具、基准/数据、演示、排行榜和大模型等组成的精选列表,主要面向基础大模型评测,旨在探求生成式AI的技术边界。
[ICML 2024] TrustLLM:从真实性、安全性、公平性、稳健性、隐私和伦理等方面评估大语言模型(LLM)的可信度。适用于本地模型、兼容 API 和 AI 智能体编排的 Python/CLI 工具包。
Aixio Layer v2 会在可能的情况下从扁平化设计中恢复可编辑图层。150 个设计的基准测试,对比 Canva Magic Layers、Qwen-Image-Layer 和 GPT-6 Astra Ultra。
Meta Agents Research Environments 是一个综合性平台,旨在评估动态、现实场景中的 AI 智能体。与静态基准测试不同,该平台引入了不断演进的环境,智能体必须随着新信息的获取而调整其策略,从而模拟现实世界中的挑战。
几种编程语言(JavaScript、Kotlin、Rust、Swift、Nim、Python、Go、Haskell、D、C++、Java、C#、Object Pascal、Ada、Lua、Ruby)的朴素性能比较
CPU、GPU 和 NPU 的峰值算力、内存带宽与延迟:通过所有可访问设备的 API 运行相同的测试。支持 Windows、macOS、Linux 和 Android 的命令行工具与应用
用于评估 GraphRAG 模型的 GraphRAG-Bench 官方代码仓库。《何时在 RAG 中使用图:图检索增强生成的综合分析》。(ICLR'26)
Token 超支?快给史密斯打电话!Better Call Smith。自适应模型路由、通透雅致的 Codex 使用量监控器,以及附有凭据、可复现的基准测试。
论文《Recent advances in large language model benchmarks against data contamination: From static to dynamic evaluation》的官方 GitHub 仓库