#evaluation リポジトリ
リポジトリ合計89件
AIエージェント向けのオープンなメモリ・信頼性レイヤー+独立した評価/検証(NACRE judge、caliber-benchメタベンチマーク、事前登録済み基準)— Nautilus Platform提供
Kubernetes上でAIワークロードをPythonで魔法のように分散・実行します。これはMLインフラストラクチャのためのPyTorchのようなものです。
臨床意思決定におけるエビデンス評価ベンチマーク:回答の根拠となる一つの事実を取り出し、アシスタントの行動がエビデンスに応じて変化するかを確認する。HealthBenchを基盤に構築。
AIエージェント向けのトレースネイティブなCI/CD――本番環境の障害を、PRをブロックする回帰テストに変換。自動検出・クラスタリングし、自己完結型のテストケースとして固定して、CIで無料でリプレイします。
ClawProBench は、OpenClaw ランタイムで LLM エージェントを評価するためのライブ優先ベンチマークハーネスで、決定論的採点と繰り返し試験の信頼性を備えています。
フィジカルAIのためのオープンソース評価。任意のアーム型ロボット/ヒューマノイド上で、任意のLLM/VLAを実環境またはシミュレーションのあらゆるベンチマークに対して実行・評価できます。
🦞 OpenClaw用の公式プラグインで、エージェントのトレースをOpikにエクスポートします。エージェントの動作、コスト、トークン、エラーなどを確認・監視できます。
大規模言語モデルにおける長文の事実性のベンチマーキング。「Long-form factuality in large language models」論文のオリジナルのコード。
Awesome-LLM-Eval: LLMの評価のためのツール、データセット/ベンチマーク、デモ、リーダーボード、論文、ドキュメント、モデルのキュレーションされたリスト。生成AIの技術的境界を探求することを目的とした、主に基盤となる大規模モデルの評価に焦点を当てた、ツール、ベンチマーク/データ、デモ、ランキング、および大規模モデルのキュレーションされたリスト。
[ICML 2024] TrustLLM:真実性、安全性、公平性、堅牢性、プライバシー、倫理の観点からLLMの信頼性を評価します。ローカルモデル、互換API、AIエージェントのオーケストレーションに対応したPython/CLIツールキットです。
TCExam は、大学、学校、企業向けの CBA(Computer-Based Assessment)システム(e-exam、CBT - Computer Based Testing)で、教育者およびトレーナーがアンケート、クイズ、テスト、試験を作成、スケジュール配信、レポートを作成できるようにします。
Meta Agents Research Environmentsは、動的で現実的なシナリオにおいてAIエージェントを評価するために設計された包括的なプラットフォームです。静的なベンチマークとは異なり、このプラットフォームは、新しい情報が入手可能になるにつれてエージェントが戦略を適応させる必要がある進化する環境を導入しており、現実世界の課題を反映しています。
論文「Recent advances in large language model benchmarks against data contamination: From static to dynamic evaluation」の公式 GitHub リポジトリ