Git Stars Git Stars

#evaluation リポジトリ

#evaluationのタグが付いた、GitHub上の89件のアクティブなオープンソースリポジトリをご覧ください。合計スター数は369,872個で、プロジェクトあたりの平均は4,155個です。このトピックをリードしているのは、39,550個のスターを獲得しているlm-sys/FastChatです。

89
リポジトリ総数
369,872
合計スター数
4,155
リポジトリあたりの平均スター数

リポジトリ合計89件

1
lm-sys/FastChat

大規模言語モデルのトレーニング、サービング、評価のためのオープン プラットフォーム。Vicuna と Chatbot Arena のリポジトリを公開します。

lm-sys
⭐ 39,550 Python 👤 lm-sys Organization 🕐 更新日時 2026-05-01 📅 作成日 2023-03-19
2
Tencent/WeKnora

オープンソースのLLM知識プラットフォーム:生のドキュメントをクエリ可能なRAG、自治的な推論エージェント、および自己維持型Wikiに変換します。

Tencent
⭐ 37,938 Go 👤 Tencent Organization 🕐 更新日時 2026-11-21 📅 作成日 2025-07-22
3
langfuse/langfuse

🪢 OpenTelemetry を基盤とするオープンソースの AI エンジニアリングプラットフォーム。AI ゲートウェイ、エージェントの可観測性、評価、プロンプト/スキル管理を提供します。あらゆる AI 呼び出しとエージェントに対応する、ひとつのオープンプラットフォーム。セルフホストでも Langfuse Cloud でも利用できます。

langfuse
⭐ 37,696 TypeScript 👤 langfuse Organization 🕐 更新日時 2026-11-21 📅 作成日 2023-05-18
4
mlflow/mlflow

エージェント、LLM、MLモデル向けのオープンソースAIエンジニアリングプラットフォーム。MLflowは、あらゆる規模のチームが生産品質のAIアプリケーションをデバッグ、評価、監視、最適化できるようにし、コストを制御し、モデルとデータのアクセスを管理します。

mlflow
⭐ 28,920 Python 👤 mlflow Organization 🕐 更新日時 2026-11-21 📅 作成日 2018-06-05
5
promptfoo/promptfoo

プロンプト、エージェント、RAGをテストしましょう。AI向けのレッドチーミング/ペネトレーションテスト/脆弱性スキャンを実行します。GPT、Claude、Gemini、DeepSeekなどのパフォーマンスを比較。コマンドラインおよびCI/CD統合を備えたシンプルな宣言型構成。OpenAIやAnthropicでも採用されています。

promptfoo
⭐ 27,516 TypeScript 👤 promptfoo Organization 🕐 更新日時 2026-11-21 📅 作成日 2023-04-28
6
comet-ml/opik

包括的なトレーシング、自動評価、本番稼働に対応したダッシュボードで、LLM アプリケーション、RAG システム、エージェント型ワークフローをデバッグ、評価、監視します。

comet-ml
⭐ 23,479 Java 👤 comet-ml Organization 🕐 更新日時 2026-11-21 📅 作成日 2023-05-10
7
vibrantlabsai/ragas

LLMアプリケーション評価を加速する 🚀

vibrantlabsai
⭐ 16,395 Python 👤 vibrantlabsai Organization 🕐 更新日時 2026-11-14 📅 作成日 2023-05-08
8
open-compass/opencompass

OpenCompassは、OpenAI、Anthropic、Gemini、Qwen、GLM、DeepSeekなどの幅広い大規模言語モデル(LLM)をサポートする評価プラットフォームです。知識、推論、コーディング、科学、言語、長文脈、安全性を網羅する100以上のデータセットに対応しています。

open-compass
⭐ 7,610 Python 👤 open-compass Organization 🕐 更新日時 2026-11-18 📅 作成日 2023-06-15
9
alchaincyf/darwin-skill

达尔文.skill —— あなたのSkillを無限に進化させるシステム:評価→改善→テスト→保持またはロールバック | Claude Code向けAutoresearchに着想を得た自律型スキル最適化。評価、改善、テスト、保持またはリバート。

alchaincyf
⭐ 7,015 HTML 👤 alchaincyf User 🕐 更新日時 2026-11-18 📅 作成日 2026-04-13
10
Helicone/helicone

🧊 オープンソースLLMオブザーバビリティプラットフォーム。1行のコードで監視、評価、実験が可能です。YC W23 🍓

Helicone
⭐ 6,292 TypeScript 👤 Helicone Organization 🕐 更新日時 2026-11-17 📅 作成日 2023-01-31
11
coze-dev/coze-loop

次世代AIエージェント最適化プラットフォーム:Cozeloopは、開発、デバッグ、評価から監視までのライフサイクル全体を管理する機能を提供し、AIエージェント開発の課題に対応します。

coze-dev
⭐ 5,799 Go 👤 coze-dev Organization 🕐 更新日時 2026-11-17 📅 作成日 2025-06-24
12
Kiln-AI/Kiln

AIシステムの構築、評価、および最適化。評価(evals)、RAG、エージェント、ファインチューニング、合成データ生成、データセット管理、MCPなどが含まれます。

Kiln-AI
⭐ 5,286 Python 👤 Kiln-AI Organization 🕐 更新日時 2026-11-21 📅 作成日 2024-07-23
13
langwatch/langwatch

AIプラットフォームチーム向けのオープンソースのエージェント可観測性と評価。社内のすべてのエージェントとコーディングアシスタントを追跡、テスト、ルーティング、ガバナンスします。

langwatch
⭐ 5,050 TypeScript 👤 langwatch Organization 🕐 更新日時 2026-11-21 📅 作成日 2023-09-09
14
EvolvingLMMs-Lab/lmms-eval

テキスト、画像、ビデオ、オーディオ タスクのための One-for-All マルチモーダル評価ツールキット

EvolvingLMMs-Lab
⭐ 4,501 Python 👤 EvolvingLMMs-Lab Organization 🕐 更新日時 2026-11-20 📅 作成日 2024-03-07
15
open-compass/VLMEvalKit

大規模マルチモーダルモデル(LMM)のオープンソース評価ツールキット、220以上のLMM、80以上のベンチマークをサポート

open-compass
⭐ 4,499 Python 👤 open-compass Organization 🕐 更新日時 2026-11-19 📅 作成日 2023-12-01
16
MichaelGrupp/evo

オドメトリとSLAMの評価のためのPythonパッケージ

MichaelGrupp
⭐ 4,367 Python 👤 MichaelGrupp User 🕐 更新日時 2026-11-15 📅 作成日 2017-09-13
17
NVIDIA/SkillEvaluator

AIエージェントのスキルやプラグインを評価するための多層型フレームワークです。品質ゲート、セキュリティスキャン、テストハーネスとの互換性チェック、意味的な重複の検出、評価用合成データセットの生成に加え、スキルがエージェントの振る舞いに与える影響を測定するエージェントのライブ評価を備えています。再利用可能なCIテンプレートを提供し、あらゆるリポジトリにすべてのチェックを導入できます。

NVIDIA
⭐ 4,300 Python 👤 NVIDIA Organization 🕐 更新日時 2026-11-21 📅 作成日 2026-06-24
18
modelscope/evalscope

効率的な大規模モデル(LLM、VLM、AIGC)の評価とパフォーマンスベンチマークのための、合理化されたカスタマイズ可能なフレームワーク。

modelscope
⭐ 3,715 Python 👤 modelscope Organization 🕐 更新日時 2026-11-20 📅 作成日 2023-12-07
19
embeddings-benchmark/mteb

MTEB: 言語とモダリティを横断する埋め込みの最先端評価

embeddings-benchmark
⭐ 3,519 Python 👤 embeddings-benchmark Organization 🕐 更新日時 2026-11-21 📅 作成日 2022-04-05
20
lmnr-ai/lmnr

Laminar - AIエージェント向けに特別に構築されたオープンソースの可観測性プラットフォーム。YC S24。

lmnr-ai
⭐ 3,516 TypeScript 👤 lmnr-ai Organization 🕐 更新日時 2026-11-20 📅 作成日 2024-08-29
21
CLUEbenchmark/SuperCLUE

SuperCLUE: 中国語汎用大規模モデル総合ベンチマーク | 中国語基礎モデルのためのベンチマーク

CLUEbenchmark
⭐ 3,308 👤 CLUEbenchmark Organization 🕐 更新日時 2026-02-06 📅 作成日 2023-05-02
22
viebel/klipse

Klipse は、技術ブログにインタラクティブなコードスニペットを埋め込むための JavaScript プラグインです。

viebel
⭐ 3,134 HTML 👤 viebel User 🕐 更新日時 2024-10-01 📅 作成日 2015-11-19
23
ianarawjo/ChainForge

LLMのプロンプトを実戦テストするためのオープンソースのビジュアルプログラミング環境。

ianarawjo
⭐ 3,044 TypeScript 👤 ianarawjo User 🕐 更新日時 2026-10-29 📅 作成日 2023-03-26
24
microsoft/promptbench

大規模言語モデルのための統一評価フレームワーク

microsoft
⭐ 2,786 Python 👤 microsoft Organization 🕐 更新日時 2026-02-20 📅 作成日 2023-06-13
25
yaojingang/yao-meta-skill

YAO = AI成果を生み出す。再利用可能なエージェントスキルのための厳格なエンジニアリング、評価、ガバナンス、移植性システム。

yaojingang
⭐ 2,739 Python 👤 yaojingang User 🕐 更新日時 2026-11-09 📅 作成日 2026-03-31
26
huggingface/lighteval

Lightevalは、複数のバックエンドにわたるLLMの評価のためのオールインワンツールキットです

huggingface
⭐ 2,587 Python 👤 huggingface Organization 🕐 更新日時 2026-11-18 📅 作成日 2024-01-26
27
huggingface/evaluate

🤗 Evaluate:機械学習モデルとデータセットを簡単に評価するためのライブラリです。

huggingface
⭐ 2,498 Python 👤 huggingface Organization 🕐 更新日時 2026-11-16 📅 作成日 2022-03-30
28
1517005260/graph-rag-agent

RAGを構築:GraphRAG、LightRAG、Neo4j-llm-graph-builderをマージして知識グラフの構築と検索を実現。DeepSearch技術を統合し、プライベートドメインRAGの推論を実現。GraphRAG用のカスタム評価フレームワークを自作。

1517005260
⭐ 2,355 Python 👤 1517005260 User 🕐 更新日時 2025-11-05 📅 作成日 2025-02-12
29
uptrain-ai/uptrain

UpTrainは、生成AIアプリケーションを評価および改善するためのオープンソースの統合プラットフォームです。20以上の事前設定されたチェック(言語、コード、埋め込みのユースケースをカバー)の評価を提供し、失敗ケースの根本原因分析を実行し、それらを解決する方法に関する洞察を提供します。

uptrain-ai
⭐ 2,337 Python 👤 uptrain-ai Organization 🕐 更新日時 2024-08-18 📅 作成日 2022-11-07
30
MCPJam/inspector

MCPサーバー、MCPアプリ、ChatGPTアプリをチャット、検査、デバッグするためのテストおよび評価プラットフォーム。

MCPJam
⭐ 2,331 TypeScript 👤 MCPJam Organization 🕐 更新日時 2026-11-21 📅 作成日 2025-05-23
31
Sahir619/fable-method

寓話ワークフロー:クロード寓話5の動作方法を、任意のモデルが実行できるスキルに抽出し、誠実さを保つ評価を備えたもの。考える/行動する/証明する。

Sahir619
⭐ 2,324 Python 👤 Sahir619 User 🕐 更新日時 2026-10-03 📅 作成日 2026-07-06
32
Xnhyacinth/Awesome-LLM-Long-Context-Modeling

📰 LLMベースのロングコンテキストモデリングに関する必読論文とブログ 🔥

Xnhyacinth
⭐ 2,191 👤 Xnhyacinth User 🕐 更新日時 2026-11-13 📅 作成日 2023-09-17
33
huggingface/evaluation-guidebook

Open LLM Leaderboard の管理と lighteval の設計中に収集した、LLM 評価に関する実践的な洞察と理論的知識の両方を共有します!

huggingface
⭐ 2,166 Jupyter Notebook 👤 huggingface Organization 🕐 更新日時 2025-12-03 📅 作成日 2024-10-09
34
ContinualAI/avalanche

Avalanche: PyTorchに基づく継続学習のためのエンドツーエンドライブラリ。

ContinualAI
⭐ 2,054 Python 👤 ContinualAI Organization 🕐 更新日時 2025-03-11 📅 作成日 2020-03-05
35
Cloud-CV/EvalAI

:cloud: :rocket: :bar_chart: :chart_with_upwards_trend: AIの最先端技術の評価

Cloud-CV
⭐ 2,049 Python 👤 Cloud-CV Organization 🕐 更新日時 2026-11-14 📅 作成日 2016-10-21
36
tatsu-lab/alpaca_eval

指示に従う言語モデルのための自動評価プログラム。人間による検証済み、高品質、低コスト、高速。

tatsu-lab
⭐ 2,010 Jupyter Notebook 👤 tatsu-lab Organization 🕐 更新日時 2025-08-09 📅 作成日 2023-05-25
37
trpc-group/trpc-agent-go

グラフワークフロー、ツール、メモリ、A2A、AG-UI、MCP、評価、可観測性を備えた、本番環境向けエージェントシステム構築用Goフレームワーク。

trpc-group
⭐ 1,940 Go 👤 trpc-group Organization 🕐 更新日時 2026-11-21 📅 作成日 2025-05-14
38
xinshuoweng/AB3DMOT

(IROS 2020, ECCVW 2020) 「3D Multi-Object Tracking: A Baseline and New Evaluation Metrics」の公式 Python 実装

xinshuoweng
⭐ 1,805 Python 👤 xinshuoweng User 🕐 更新日時 2024-04-03 📅 作成日 2019-06-19
39
onestardao/WFGY

WFGYは、AI推論、RAG、エージェント、現実世界のワークフローを対象とした主要なオープンソースリリースであるWFGY 5.0 Polaris Protocolに向かっています。Problem Map、Global Debug Card、WFGY 4.0、およびCFVのイースターエッグが含まれます。

onestardao
⭐ 1,804 Jupyter Notebook 👤 onestardao User 🕐 更新日時 2026-11-21 📅 作成日 2025-06-04
40
SmartFlowAI/EmoLLM

メンタルヘルス大規模言語モデル (LLM x Mental Health)、事前・事後トレーニング & データセット & 評価 & デプロイ & RAG、InternLM / Qwen / Baichuan / DeepSeek / Mixtral / LLama / GLMシリーズモデルを使用

SmartFlowAI
⭐ 1,797 Python 👤 SmartFlowAI Organization 🕐 更新日時 2026-06-18 📅 作成日 2024-01-11
41
deepsense-ai/ragbits

GenAIアプリケーションの迅速な開発のためのビルディングブロック

deepsense-ai
⭐ 1,678 Python 👤 deepsense-ai Organization 🕐 更新日時 2026-05-18 📅 作成日 2024-09-02
42
MLGroupJLU/LLM-eval-survey

調査論文「A Survey on Evaluation of Large Language Models」の公式GitHubページです。

MLGroupJLU
⭐ 1,615 👤 MLGroupJLU User 🕐 更新日時 2026-11-18 📅 作成日 2023-07-02
43
sepandhaghighi/pycm

Python の多クラス混同行列ライブラリ

sepandhaghighi
⭐ 1,507 Python 👤 sepandhaghighi User 🕐 更新日時 2026-11-16 📅 作成日 2018-01-22
44
Maluuba/nlg-eval

自然言語生成のためのさまざまな教師なし自動メトリクスの評価コード。

Maluuba
⭐ 1,391 Python 👤 Maluuba Organization 🕐 更新日時 2024-08-20 📅 作成日 2017-06-27
45
NVIDIA-NeMo/Gym

環境を使用してモデルとエージェントを評価し改善する

NVIDIA-NeMo
⭐ 1,347 Python 👤 NVIDIA-NeMo Organization 🕐 更新日時 2026-11-21 📅 作成日 2025-08-25
46
ScalingIntelligence/KernelBench

KernelBench: LLMはGPUカーネルを記述できるか? - TorchからCUDA(+その他のDSL)へのベンチマークとツールキット

ScalingIntelligence
⭐ 1,336 Jupyter Notebook 👤 ScalingIntelligence Organization 🕐 更新日時 2026-03-24 📅 作成日 2024-10-25
47
TIGER-AI-Lab/ClawBench

日常タスクにおけるブラウザAIエージェントのオープンソースベンチマーク。

TIGER-AI-Lab
⭐ 1,325 Python 👤 TIGER-AI-Lab Organization 🕐 更新日時 2026-11-05 📅 作成日 2026-04-10
48
abo-abo/lispy

短くて甘いLISP編集

abo-abo
⭐ 1,297 Emacs Lisp 👤 abo-abo User 🕐 更新日時 2026-01-23 📅 作成日 2014-01-10
49
EthicalML/xai

XAI - 機械学習のためのeXplainability(説明可能性)ツールボックス

EthicalML
⭐ 1,270 Python 👤 EthicalML Organization 🕐 更新日時 2025-11-29 📅 作成日 2019-01-11
50
plurai-ai/intellagent

シミュレートされた現実的な合成インタラクションを使用したエージェントの包括的な診断と最適化のためのフレームワーク

plurai-ai
⭐ 1,266 Python 👤 plurai-ai Organization 🕐 更新日時 2026-09-14 📅 作成日 2024-10-28

よくある質問

1

GitHubで最も人気のある#evaluationリポジトリは何ですか?

GitHubで最も上位にランクインしているオープンソースの#evaluationプロジェクトは、39,550個のスターを獲得しているlm-sys/FastChatです。大規模言語モデルのトレーニング、サービング、評価のためのオープン プラットフォーム。Vicuna と Chatbot Arena のリポジトリを公開します。

2

#evaluationリポジトリで最もよく使われているプログラミング言語は何ですか?

GitHubで上位にランクインしている#evaluationプロジェクトでは、Python, TypeScript, Jupyter Notebook, Goが最も一般的なプログラミング言語です。

3

#evaluationリポジトリのランキングはどのように算出されていますか?

#evaluationのタグが付いた89件のアクティブなオープンソースリポジトリ(スター500個以上)を追跡しています。合計スター数は369,872個で、リポジトリあたりの平均は4,155個です。ランキングはGitHub APIからのデータに基づいて毎日更新されます。