#benchmark リポジトリ
リポジトリ合計193件
BenchMARLは、マルチエージェント強化学習(MARL)のベンチマークライブラリです。BenchMARLを使用すると、再現性と標準化という2つのコア原則に体系的に基づきながら、さまざまなMARLアルゴリズム、タスク、モデルを迅速に比較できます。
AgentLab:ウェブエージェントの開発・テスト・ベンチマークを、さまざまなタスクで行うためのオープンソースフレームワークで、スケーラビリティと再現性を実現するよう設計されています。
A.S.E (AICGSecEval) は、テンセント悟空コードセキュリティチームによって開発された、リポジトリレベルのAI生成コードセキュリティ評価ベンチマークです。
Awesome-LLM-Eval: LLMの評価のためのツール、データセット/ベンチマーク、デモ、リーダーボード、論文、ドキュメント、モデルのキュレーションされたリスト。生成AIの技術的境界を探求することを目的とした、主に基盤となる大規模モデルの評価に焦点を当てた、ツール、ベンチマーク/データ、デモ、ランキング、および大規模モデルのキュレーションされたリスト。
[ICML 2024] TrustLLM:真実性、安全性、公平性、堅牢性、プライバシー、倫理の観点からLLMの信頼性を評価します。ローカルモデル、互換API、AIエージェントのオーケストレーションに対応したPython/CLIツールキットです。
インドネシア語初の広範な自然言語処理ベンチマーク。複数の下流タスク、事前学習済みのIndoBERTモデル、およびスターターコードを提供します!(AACL-IJCNLP 2020)
JailbreakBench: 言語モデルのジェイルブレイクのためのオープンな堅牢性ベンチマーク [NeurIPS 2024 データセット&ベンチマークトラック]
Aixio Layer v2は、可能な場合にフラット化されたデザインから編集可能なレイヤーを復元します。150件のデザインを使ったベンチマークで、Canva Magic Layers、Qwen-Image-Layer、GPT-6 Astra Ultraと比較します。
Meta Agents Research Environmentsは、動的で現実的なシナリオにおいてAIエージェントを評価するために設計された包括的なプラットフォームです。静的なベンチマークとは異なり、このプラットフォームは、新しい情報が入手可能になるにつれてエージェントが戦略を適応させる必要がある進化する環境を導入しており、現実世界の課題を反映しています。
いくつかのプログラミング言語(JavaScript、Kotlin、Rust、Swift、Nim、Python、Go、Haskell、D、C++、Java、C#、Object Pascal、Ada、Lua、Ruby)の単純な性能比較
CPU、GPU、NPU のピーク演算性能、メモリ帯域幅、レイテンシ:デバイスにアクセスするすべての API を通じて同じテストを実行。Windows、macOS、Linux、Android 向けのコマンドラインツールとアプリ
GraphRAGモデルを評価するためのGraphRAG-Bench公式リポジトリ。「RAGでグラフを使うべきとき:グラフ検索拡張生成の包括的分析」。(ICLR'26)
トークン超過?すぐスミスに電話を!Better Call Smith。適応型モデルルーティング、洗練されたCodex使用状況モニター、そして根拠付きの再現可能なベンチマーク。
論文「Recent advances in large language model benchmarks against data contamination: From static to dynamic evaluation」の公式 GitHub リポジトリ