#llm-evaluation リポジトリ
リポジトリ合計108件
臨床意思決定におけるエビデンス評価ベンチマーク:回答の根拠となる一つの事実を取り出し、アシスタントの行動がエビデンスに応じて変化するかを確認する。HealthBenchを基盤に構築。
AIエージェント向けのトレースネイティブなCI/CD――本番環境の障害を、PRをブロックする回帰テストに変換。自動検出・クラスタリングし、自己完結型のテストケースとして固定して、CIで無料でリプレイします。
OrcaReplay — AIエージェントのためのタイムトラベル。あらゆるモデルを使ったエージェントの実行を記録、再生、分岐、デバッグできます。OrcaRouter.aiチームが開発。
AIエージェントの構築と評価に最適なリソースを厳選した、無駄のないライブラリ — 論文、ブログ、トーク、ツール、ベンチマーク。BenchFlowが管理しています。
FactCircuit:改ざん不可能な出所情報、段階的なチェック、取得範囲の制限、再現可能な評価を備えた、監査可能な主張・証拠検証ループ。
AIエージェント向けのトレースネイティブなCI/CD:本番環境のトレースを評価し、失敗をクラスタリングして再生可能な回帰テストとして固定し、リグレッションを引き起こすPRをブロックします。セルフホスト可能。
論文は私たちの調査に従って整理されています:Evaluating Large Language Models: A Comprehensive Survey.
分散した SKILL.md ファイルを、整理済みで検索可能なエージェントスキルコーパスに変換するオープンソース基盤。検索および評価ツールも含まれています。
Awesome-LLM-Eval: LLMの評価のためのツール、データセット/ベンチマーク、デモ、リーダーボード、論文、ドキュメント、モデルのキュレーションされたリスト。生成AIの技術的境界を探求することを目的とした、主に基盤となる大規模モデルの評価に焦点を当てた、ツール、ベンチマーク/データ、デモ、ランキング、および大規模モデルのキュレーションされたリスト。
Stanford CS329Z Engineering AI Agentsの中国語チュートリアル:Python開発者向けのAIエージェント講座。全19講義と4つの実践課題で、LLM、RAG、ツール呼び出し、メモリ、マルチエージェント、評価、安全性を扱います。完全版Markdownと、オンライン・オフライン対応HTMLを収録。中国語の講義ノート。
[ICML 2024] TrustLLM:真実性、安全性、公平性、堅牢性、プライバシー、倫理の観点からLLMの信頼性を評価します。ローカルモデル、互換API、AIエージェントのオーケストレーションに対応したPython/CLIツールキットです。
MCP-Universe は、RL トレーニング、ベンチマーク、汎用ツール使用のための AI エージェントの開発向けに設計された包括的なフレームワークです。
MCPゲートウェイとOAuth対応MCPサーバー。LangGraphエージェント:メモリ、評価・トラッキング、個人識別情報(PII)の保護、コンテキストのトリミング。エンタープライズエージェント向けDockerクイックスタート。