Git Stars Git Stars

#evaluation リポジトリ

89
リポジトリ総数
369,872
合計スター数
4,155
リポジトリあたりの平均スター数

リポジトリ合計89件

51
chunxiaoxx/nautilus-compass

AIエージェント向けのオープンなメモリ・信頼性レイヤー+独立した評価/検証(NACRE judge、caliber-benchメタベンチマーク、事前登録済み基準)— Nautilus Platform提供

chunxiaoxx
⭐ 1,260 Python 👤 chunxiaoxx User 🕐 更新日時 2026-11-19 📅 作成日 2026-04-27
52
run-house/kubetorch

Kubernetes上でAIワークロードをPythonで魔法のように分散・実行します。これはMLインフラストラクチャのためのPyTorchのようなものです。

run-house
⭐ 1,228 Python 👤 run-house Organization 🕐 更新日時 2026-05-29 📅 作成日 2022-05-10
53
google/fuzzbench

FuzzBench - サービスとしてのファザーベンチマーク。

google
⭐ 1,211 Python 👤 google Organization 🕐 更新日時 2026-01-26 📅 作成日 2020-02-04
54
toshas/torch-fidelity

PyTorchにおける生成モデルの高忠実度パフォーマンス指標

toshas
⭐ 1,205 Python 👤 toshas User 🕐 更新日時 2026-10-25 📅 作成日 2020-04-23
55
ncalc/ncalc

NCalc は、.NET 用の高速で軽量な式評価ライブラリで、柔軟性と高いパフォーマンスのために設計されています。幅広い数学的および論理的操作をサポートします。

ncalc
⭐ 1,172 C# 👤 ncalc Organization 🕐 更新日時 2026-11-21 📅 作成日 2017-11-15
56
xinxuxin/keystone-bench

臨床意思決定におけるエビデンス評価ベンチマーク:回答の根拠となる一つの事実を取り出し、アシスタントの行動がエビデンスに応じて変化するかを確認する。HealthBenchを基盤に構築。

xinxuxin
⭐ 1,130 Python 👤 xinxuxin User 🕐 更新日時 2026-10-19 📅 作成日 2026-09-07
57
Jwuthri/Tracely-ai

AIエージェント向けのトレースネイティブなCI/CD――本番環境の障害を、PRをブロックする回帰テストに変換。自動検出・クラスタリングし、自己完結型のテストケースとして固定して、CIで無料でリプレイします。

Jwuthri
⭐ 1,122 Python 👤 Jwuthri User 🕐 更新日時 2026-11-21 📅 作成日 2026-06-03
58
agentscope-ai/OpenJudge

OpenJudge: 包括的な評価と品質報酬のための統一フレームワーク

agentscope-ai
⭐ 1,121 Python 👤 agentscope-ai Organization 🕐 更新日時 2026-11-21 📅 作成日 2025-07-08
59
prometheus-eval/prometheus-eval

PrometheusとGPT4でLLMの応答を評価します 💯

prometheus-eval
⭐ 1,087 Python 👤 prometheus-eval Organization 🕐 更新日時 2025-04-25 📅 作成日 2024-04-18
60
langchain-ai/langsmith-sdk

LangSmith クライアント SDK の実装

langchain-ai
⭐ 1,082 Python 👤 langchain-ai Organization 🕐 更新日時 2026-10-16 📅 作成日 2023-05-30
61
MAC-AutoML/MindPipe

LLMおよびLVLM向けの強力なモデル圧縮フレームワークで、NVIDIA GPUおよびHuawei Ascend NPUに適応。

MAC-AutoML
⭐ 1,013 Python 👤 MAC-AutoML Organization 🕐 更新日時 2026-08-11 📅 作成日 2026-01-22
62
nolabs-ai/deepfabric

高品質な合成データを生成し、単一のパイプラインで学習、測定、評価を行う

nolabs-ai
⭐ 896 Python 👤 nolabs-ai Organization 🕐 更新日時 2026-11-13 📅 作成日 2024-10-25
63
PRBonn/semantic-kitti-api

データセットの可視化、データの処理、および結果の評価のための SemanticKITTI API。

PRBonn
⭐ 895 Python 👤 PRBonn Organization 🕐 更新日時 2025-04-03 📅 作成日 2019-07-24
64
suyoumo/ClawProBench

ClawProBench は、OpenClaw ランタイムで LLM エージェントを評価するためのライブ優先ベンチマークハーネスで、決定論的採点と繰り返し試験の信頼性を備えています。

suyoumo
⭐ 829 Rust 👤 suyoumo User 🕐 更新日時 2026-08-25 📅 作成日 2025-03-02
65
PaesslerAG/gval

Golang での式評価

PaesslerAG
⭐ 819 Go 👤 PaesslerAG Organization 🕐 更新日時 2026-09-13 📅 作成日 2017-09-27
66
robocurve/inspect-robots

フィジカルAIのためのオープンソース評価。任意のアーム型ロボット/ヒューマノイド上で、任意のLLM/VLAを実環境またはシミュレーションのあらゆるベンチマークに対して実行・評価できます。

robocurve
⭐ 776 Python 👤 robocurve Organization 🕐 更新日時 2026-11-11 📅 作成日 2026-06-26
67
angular/web-codegen-scorer

Web Codegen Scorer は、LLMによって生成されたウェブコードの品質を評価するためのツールです。

angular
⭐ 774 TypeScript 👤 angular Organization 🕐 更新日時 2026-05-05 📅 作成日 2025-09-04
68
IntelLabs/RAG-FiT

ファインチューニングを使用してRAGタスクのためにLLMを強化するためのフレームワーク。

IntelLabs
⭐ 766 Python 👤 IntelLabs Organization 🕐 更新日時 2026-06-08 📅 作成日 2024-07-23
69
ModelTC/LightCompress

[EMNLP 2024 & AAAI 2026] LLM、VLM、およびビデオ生成モデルを含む大規模モデルを圧縮するための強力なツールキット。

ModelTC
⭐ 755 Python 👤 ModelTC Organization 🕐 更新日時 2026-05-14 📅 作成日 2024-03-06
70
comet-ml/opik-openclaw

🦞 OpenClaw用の公式プラグインで、エージェントのトレースをOpikにエクスポートします。エージェントの動作、コスト、トークン、エラーなどを確認・監視できます。

comet-ml
⭐ 723 TypeScript 👤 comet-ml Organization 🕐 更新日時 2026-11-20 📅 作成日 2026-03-02
71
AgentSafeLabs/safelabs-eval

OWASPに着想を得たASI01~ASI10の分類体系に基づく、AIエージェントのレッドチームテストおよび評価フレームワーク

AgentSafeLabs
⭐ 713 Python 👤 AgentSafeLabs Organization 🕐 更新日時 2026-11-06 📅 作成日 2026-05-25
72
bochinski/iou-tracker

IOU Tracker の Python 実装

bochinski
⭐ 701 Python 👤 bochinski User 🕐 更新日時 2026-06-14 📅 作成日 2017-07-25
73
google-deepmind/long-form-factuality

大規模言語モデルにおける長文の事実性のベンチマーキング。「Long-form factuality in large language models」論文のオリジナルのコード。

google-deepmind
⭐ 698 Python 👤 google-deepmind Organization 🕐 更新日時 2026-06-18 📅 作成日 2024-03-25
74
AmenRa/ranx

⚡️ランキング評価、比較、融合のための超高速Pythonライブラリ🐍

AmenRa
⭐ 691 Python 👤 AmenRa User 🕐 更新日時 2025-08-07 📅 作成日 2020-06-02
75
onejune2018/Awesome-LLM-Eval

Awesome-LLM-Eval: LLMの評価のためのツール、データセット/ベンチマーク、デモ、リーダーボード、論文、ドキュメント、モデルのキュレーションされたリスト。生成AIの技術的境界を探求することを目的とした、主に基盤となる大規模モデルの評価に焦点を当てた、ツール、ベンチマーク/データ、デモ、ランキング、および大規模モデルのキュレーションされたリスト。

onejune2018
⭐ 661 👤 onejune2018 User 🕐 更新日時 2025-11-24 📅 作成日 2023-04-26
76
run-llama/ParseBench

ParseBench - AIエージェント向け文書解析ベンチマーク

run-llama
⭐ 650 Python 👤 run-llama Organization 🕐 更新日時 2026-11-21 📅 作成日 2026-04-10
77
ucinlp/autoprompt

AutoPrompt: マスク言語モデルのための自動プロンプト構築。

ucinlp
⭐ 643 Python 👤 ucinlp Organization 🕐 更新日時 2026-09-02 📅 作成日 2020-03-01
78
chrisliu298/awesome-llm-unlearning

大規模言語モデルにおける機械学習のアンラーニングのためのリソースリポジトリ

chrisliu298
⭐ 640 👤 chrisliu298 User 🕐 更新日時 2026-10-06 📅 作成日 2024-03-27
79
onyx-dot-app/EnterpriseRAG-Bench

社内文書に対するRAGのデータセットとベンチマーク。

onyx-dot-app
⭐ 639 👤 onyx-dot-app Organization 🕐 更新日時 2026-09-03 📅 作成日 2026-02-19
80
HowieHwong/TrustLLM

[ICML 2024] TrustLLM:真実性、安全性、公平性、堅牢性、プライバシー、倫理の観点からLLMの信頼性を評価します。ローカルモデル、互換API、AIエージェントのオーケストレーションに対応したPython/CLIツールキットです。

HowieHwong
⭐ 635 Python 👤 HowieHwong User 🕐 更新日時 2026-10-04 📅 作成日 2023-12-23
81
tecnickcom/tcexam

TCExam は、大学、学校、企業向けの CBA(Computer-Based Assessment)システム(e-exam、CBT - Computer Based Testing)で、教育者およびトレーナーがアンケート、クイズ、テスト、試験を作成、スケジュール配信、レポートを作成できるようにします。

tecnickcom
⭐ 634 PHP 👤 tecnickcom Organization 🕐 更新日時 2026-11-21 📅 作成日 2013-04-15
82
codingseb/ExpressionEvaluator

1つのC#ファイルにあるシンプルな数学と疑似C#式評価器。小さなC#風スクリプトも実行可能

codingseb
⭐ 630 C# 👤 codingseb User 🕐 更新日時 2025-09-08 📅 作成日 2017-03-15
83
danthedeckie/simpleeval

Pythonのためのシンプルで安全なサンドボックス化された拡張可能な式評価器

danthedeckie
⭐ 618 Python 👤 danthedeckie User 🕐 更新日時 2026-10-25 📅 作成日 2013-12-03
84
DocAILab/XRAG

XRAG:eXamining the Core ― 高度な検索拡張生成における基盤コンポーネントモジュールのベンチマーク

DocAILab
⭐ 612 Python 👤 DocAILab Organization 🕐 更新日時 2026-11-01 📅 作成日 2024-09-07
85
MMMU-Benchmark/MMMU

このリポジトリには、「MMMU: Expert AGIのための大規模多分野マルチモーダル理解・推論ベンチマーク」という論文の評価コードが含まれています。

MMMU-Benchmark
⭐ 601 Python 👤 MMMU-Benchmark Organization 🕐 更新日時 2026-11-13 📅 作成日 2023-11-23
86
jkkummerfeld/text2sql-data

質問と SQL クエリをペアリングしたデータセットのコレクション。

jkkummerfeld
⭐ 587 Python 👤 jkkummerfeld User 🕐 更新日時 2025-03-03 📅 作成日 2018-05-11
87
GrumpyZhou/image-matching-toolbox

これは、画像ペアから画像マッチングを実行するさまざまな方法を評価するためのツールボックスリポジトリです。

GrumpyZhou
⭐ 586 Jupyter Notebook 👤 GrumpyZhou User 🕐 更新日時 2024-04-29 📅 作成日 2020-11-24
88
facebookresearch/meta-agents-research-environments

Meta Agents Research Environmentsは、動的で現実的なシナリオにおいてAIエージェントを評価するために設計された包括的なプラットフォームです。静的なベンチマークとは異なり、このプラットフォームは、新しい情報が入手可能になるにつれてエージェントが戦略を適応させる必要がある進化する環境を導入しており、現実世界の課題を反映しています。

facebookresearch
⭐ 581 Python 👤 facebookresearch Organization 🕐 更新日時 2026-09-30 📅 作成日 2025-09-11
89
SeekingDream/Static-to-Dynamic-LLMEval

論文「Recent advances in large language model benchmarks against data contamination: From static to dynamic evaluation」の公式 GitHub リポジトリ

SeekingDream
⭐ 500 👤 SeekingDream User 🕐 更新日時 2026-09-28 📅 作成日 2025-02-21