Git Stars Git Stars

#llm-evaluation リポジトリ

#llm-evaluationのタグが付いた、GitHub上の108件のアクティブなオープンソースリポジトリをご覧ください。合計スター数は444,825個で、プロジェクトあたりの平均は4,118個です。このトピックをリードしているのは、46,592個のスターを獲得しているifixai-ai/iFixAiです。

108
リポジトリ総数
444,825
合計スター数
4,118
リポジトリあたりの平均スター数

リポジトリ合計108件

1
ifixai-ai/iFixAi

AIエージェントの独立監査。人間またはエージェント自身が実行し、AIエージェント経済における最も重要な問いに答えます。そのエージェントは本来の役割を果たしているか?iFixAiを使えば、120秒以内にその答えを得ることができます。

ifixai-ai
⭐ 46,592 Python 👤 ifixai-ai Organization 🕐 更新日時 2026-11-20 📅 作成日 2026-04-27
2
langfuse/langfuse

🪢 OpenTelemetry を基盤とするオープンソースの AI エンジニアリングプラットフォーム。AI ゲートウェイ、エージェントの可観測性、評価、プロンプト/スキル管理を提供します。あらゆる AI 呼び出しとエージェントに対応する、ひとつのオープンプラットフォーム。セルフホストでも Langfuse Cloud でも利用できます。

langfuse
⭐ 37,696 TypeScript 👤 langfuse Organization 🕐 更新日時 2026-11-21 📅 作成日 2023-05-18
3
mlflow/mlflow

エージェント、LLM、MLモデル向けのオープンソースAIエンジニアリングプラットフォーム。MLflowは、あらゆる規模のチームが生産品質のAIアプリケーションをデバッグ、評価、監視、最適化できるようにし、コストを制御し、モデルとデータのアクセスを管理します。

mlflow
⭐ 28,920 Python 👤 mlflow Organization 🕐 更新日時 2026-11-21 📅 作成日 2018-06-05
4
promptfoo/promptfoo

プロンプト、エージェント、RAGをテストしましょう。AI向けのレッドチーミング/ペネトレーションテスト/脆弱性スキャンを実行します。GPT、Claude、Gemini、DeepSeekなどのパフォーマンスを比較。コマンドラインおよびCI/CD統合を備えたシンプルな宣言型構成。OpenAIやAnthropicでも採用されています。

promptfoo
⭐ 27,516 TypeScript 👤 promptfoo Organization 🕐 更新日時 2026-11-21 📅 作成日 2023-04-28
5
huggingface/open-r1

DeepSeek-R1 の完全な再現

huggingface
⭐ 26,483 Python 👤 huggingface Organization 🕐 更新日時 2026-10-26 📅 作成日 2025-01-24
6
comet-ml/opik

包括的なトレーシング、自動評価、本番稼働に対応したダッシュボードで、LLM アプリケーション、RAG システム、エージェント型ワークフローをデバッグ、評価、監視します。

comet-ml
⭐ 23,479 Java 👤 comet-ml Organization 🕐 更新日時 2026-11-21 📅 作成日 2023-05-10
7
openai/evals

Evalsは、LLMおよびLLMシステムを評価するためのフレームワークであり、ベンチマークのオープンソースレジストリです。

openai
⭐ 19,776 Python 👤 openai Organization 🕐 更新日時 2026-04-14 📅 作成日 2023-01-23
8
confident-ai/deepeval

LLM評価フレームワーク

confident-ai
⭐ 19,585 Python 👤 confident-ai Organization 🕐 更新日時 2026-11-19 📅 作成日 2023-08-10
9
Arize-ai/phoenix

AIオブザーバビリティと評価

Arize-ai
⭐ 12,368 Python 👤 Arize-ai Organization 🕐 更新日時 2026-11-21 📅 作成日 2022-11-09
10
NVIDIA/garak

LLM脆弱性スキャナー

NVIDIA
⭐ 10,122 Python 👤 NVIDIA Organization 🕐 更新日時 2026-11-18 📅 作成日 2023-05-10
11
oumi-ai/oumi

Qwen、Gemma、または任意のオープンなエージェント型LLM/VLMを簡単にファインチューニング(SFT/RL)し、評価してデプロイできます!

oumi-ai
⭐ 9,441 Python 👤 oumi-ai Organization 🕐 更新日時 2026-11-21 📅 作成日 2024-05-07
12
HKUDS/ClawWork

"ClawWork: OpenClaw があなたの AI 同僚 - 💰 11時間で $15K 稼ぐ"

HKUDS
⭐ 8,574 Python 👤 HKUDS Organization 🕐 更新日時 2026-03-03 📅 作成日 2026-02-15
13
Tencent/AI-Infra-Guard

Agent Scan、Skills Scan、MCP Scan、AI Infra Scan、LLMの脱獄評価を通じてAIエコシステムを保護する、フルスタックのAIレッドチーム・プラットフォーム。

Tencent
⭐ 7,604 Python 👤 Tencent Organization 🕐 更新日時 2026-11-20 📅 作成日 2024-12-25
14
gepa-ai/gepa

AI搭載のリフレクティブ最適化で、プロンプトやコードなどを最適化

gepa-ai
⭐ 7,523 Jupyter Notebook 👤 gepa-ai Organization 🕐 更新日時 2026-11-21 📅 作成日 2025-08-05
15
gkamradt/langchain-tutorials

LangChainライブラリの概要とチュートリアル

gkamradt
⭐ 7,350 Jupyter Notebook 👤 gkamradt User 🕐 更新日時 2024-08-05 📅 作成日 2023-02-13
16
simplescaling/s1

s1: 単純なテスト時間スケーリング

simplescaling
⭐ 6,656 Python 👤 simplescaling Organization 🕐 更新日時 2025-06-25 📅 作成日 2025-02-01
17
jeinlee1991/chinese-llm-benchmark

NoneLinear - ReLE評価:中国語AI大規模モデル能力評価(継続更新):現在374個のモデルを網羅しており、ChatGPT、GPT-5.4、Google Gemini-3.1-pro、Claude-4.6、Ernie-X1.1、Ernie-5.0、Qwen3.6-max、Qwen3.6-plus、Baichuan、iFlytek Spark、SenseChatなどの商用モデルに加え、Step3.5-flash、Kimi-k2.6、Ernie4.5、MiniMax-M2.7、DeepSeek-v4、Qwen3.6、Llama4、Zhipu GLM-5.1、MiMo-V2、LongCat、Gemma4、Mistralなどのオープンソースモデルをカバーしています。ランキングだけでなく、200万件を超えるモデル欠陥データベースも提供しており、コミュニティによる研究、分析、大規模モデルの改善を支援します。

jeinlee1991
⭐ 6,522 👤 jeinlee1991 User 🕐 更新日時 2026-11-20 📅 作成日 2023-06-04
18
Q00/ouroboros

Agent OS:エージェントは自ら賢くなっていきます。私たちは方針を守るだけです:面接による選抜、段階的な評価、予算を設定した進化ループ。MCPサーバー、14のランタイムに対応:Claude Code、Codex CLI、Gemini CLI、OpenCode、Copilot、Kiroなど。

Q00
⭐ 6,385 Python 👤 Q00 User 🕐 更新日時 2026-11-21 📅 作成日 2026-01-14
19
Helicone/helicone

🧊 オープンソースLLMオブザーバビリティプラットフォーム。1行のコードで監視、評価、実験が可能です。YC W23 🍓

Helicone
⭐ 6,292 TypeScript 👤 Helicone Organization 🕐 更新日時 2026-11-17 📅 作成日 2023-01-31
20
Giskard-AI/giskard-oss

🐢 LLMエージェントのためのオープンソース評価・テストライブラリ

Giskard-AI
⭐ 5,965 Python 👤 Giskard-AI Organization 🕐 更新日時 2026-11-20 📅 作成日 2022-03-06
21
PacktPublishing/LLM-Engineers-Handbook

LLMの実践ガイド:基本からAWSへの高度なLLMおよびRAGアプリのデプロイまで、LLMOpsのベストプラクティスを活用

PacktPublishing
⭐ 5,438 Python 👤 PacktPublishing Organization 🕐 更新日時 2026-04-22 📅 作成日 2024-04-09
22
going-doer/Paper2Code

Paper2Code: 機械学習における科学論文からのコード生成の自動化

going-doer
⭐ 5,044 Python 👤 going-doer User 🕐 更新日時 2026-03-25 📅 作成日 2025-04-25
23
EvolvingLMMs-Lab/lmms-eval

テキスト、画像、ビデオ、オーディオ タスクのための One-for-All マルチモーダル評価ツールキット

EvolvingLMMs-Lab
⭐ 4,501 Python 👤 EvolvingLMMs-Lab Organization 🕐 更新日時 2026-11-20 📅 作成日 2024-03-07
24
hemansnation/AI-Engineer-Headquarters

ストーリーとモデルを構築するための科学的方法、プロセス、アルゴリズム、およびシステムのコレクション。

hemansnation
⭐ 3,782 Jupyter Notebook 👤 hemansnation User 🕐 更新日時 2026-10-28 📅 作成日 2022-03-29
25
truera/trulens

LLM実験とAIエージェントの評価と追跡

truera
⭐ 3,665 Python 👤 truera Organization 🕐 更新日時 2026-11-20 📅 作成日 2020-11-02
26
lmnr-ai/lmnr

Laminar - AIエージェント向けに特別に構築されたオープンソースの可観測性プラットフォーム。YC S24。

lmnr-ai
⭐ 3,516 TypeScript 👤 lmnr-ai Organization 🕐 更新日時 2026-11-20 📅 作成日 2024-08-29
27
openai/human-eval

論文「Evaluating Large Language Models Trained on Code」のコード

openai
⭐ 3,431 Python 👤 openai Organization 🕐 更新日時 2026-10-16 📅 作成日 2021-07-06
28
Sumanth077/ai-engineering-toolkit

LLMで構築するAIエンジニア向けの100以上のライブラリとフレームワークの厳選リスト

Sumanth077
⭐ 3,402 👤 Sumanth077 User 🕐 更新日時 2026-05-11 📅 作成日 2025-08-06
29
UKGovernmentBEIS/inspect_ai

Inspect: 大規模言語モデル評価のためのフレームワーク

UKGovernmentBEIS
⭐ 3,302 Python 👤 UKGovernmentBEIS Organization 🕐 更新日時 2026-11-20 📅 作成日 2023-11-14
30
FranxYao/chain-of-thought-hub

連鎖思考プロンプトによる大規模言語モデルの複雑な推論能力のベンチマーク

FranxYao
⭐ 2,762 Jupyter Notebook 👤 FranxYao User 🕐 更新日時 2024-08-04 📅 作成日 2023-03-10
31
genieincodebottle/generative-ai

詳細なロードマップ、プロジェクト、ユースケース、面接準備、コーディング準備を含む、生成AIに関する包括的なリソース。

genieincodebottle
⭐ 2,675 Jupyter Notebook 👤 genieincodebottle User 🕐 更新日時 2026-11-09 📅 作成日 2024-01-09
32
gkamradt/needle-in-a-haystack

さまざまなコンテキスト長でLLMモデルから単純な検索を実行し、精度を測定する

gkamradt
⭐ 2,408 Jupyter Notebook 👤 gkamradt User 🕐 更新日時 2026-06-08 📅 作成日 2023-11-11
33
future-agi/future-agi

オープンソースのエンドツーエンドプラットフォームで、LLMおよびAIエージェントアプリケーションの評価、観察、改善を行います。Tracing · Evals · Simulations · Datasets · Gateway · Guardrails。セルフホスト可能。Apache 2.0。

future-agi
⭐ 2,284 Python 👤 future-agi Organization 🕐 更新日時 2026-11-21 📅 作成日 2026-04-23
34
break-into-data/ai-engineer-toolkit

より優れた AI 開発者になるためのプロジェクトとリソース。

break-into-data
⭐ 2,189 TypeScript 👤 break-into-data Organization 🕐 更新日時 2025-09-15 📅 作成日 2025-02-24
36
msoedov/agentic_security

Agentic LLM 脆弱性スキャナー / AI レッドチーミングキット 🧪

msoedov
⭐ 2,048 Python 👤 msoedov User 🕐 更新日時 2026-11-19 📅 作成日 2024-04-11
37
ai-that-works/ai-that-works

🦄 機能するAI - 毎週火曜日 午前10時 PST

ai-that-works
⭐ 2,016 TypeScript 👤 ai-that-works Organization 🕐 更新日時 2026-11-19 📅 作成日 2025-04-02
39
centerforaisafety/hle

人類最後の試験

centerforaisafety
⭐ 1,749 Python 👤 centerforaisafety Organization 🕐 更新日時 2026-09-23 📅 作成日 2025-01-23
41
lizhe2004/Awesome-LLM-RAG-Application

RAGパターンベースのLLMアプリケーションに関するリソース

lizhe2004
⭐ 1,662 👤 lizhe2004 User 🕐 更新日時 2026-10-12 📅 作成日 2023-12-27
42
huggingface/aisheets

ノーコードでAIモデルを使用してデータセットを構築、充実、変換する

huggingface
⭐ 1,656 TypeScript 👤 huggingface Organization 🕐 更新日時 2026-09-23 📅 作成日 2025-01-16
43
cyberark/FuzzyAI

自動化されたLLMファジングのための強力なツールです。開発者やセキュリティ研究者がLLM APIの潜在的なジェイルブレークを特定し、軽減するのを支援するように設計されています。

cyberark
⭐ 1,611 Jupyter Notebook 👤 cyberark Organization 🕐 更新日時 2026-02-06 📅 作成日 2024-12-03
44
sierra-research/tau-bench

Tau-Benchのコードとデータ

sierra-research
⭐ 1,514 Python 👤 sierra-research Organization 🕐 更新日時 2026-03-18 📅 作成日 2024-06-06
45
safety-research/bloom

bloom - あらゆる行動を即座に評価する 🌸🌱

safety-research
⭐ 1,429 Python 👤 safety-research Organization 🕐 更新日時 2026-05-07 📅 作成日 2025-06-24
47
meridianlabs-ai/inspect_petri

アライメント仮説を迅速に探索できるアライメント監査エージェント

meridianlabs-ai
⭐ 1,421 Python 👤 meridianlabs-ai Organization 🕐 更新日時 2026-11-20 📅 作成日 2025-08-19
48
TIGER-AI-Lab/ClawBench

日常タスクにおけるブラウザAIエージェントのオープンソースベンチマーク。

TIGER-AI-Lab
⭐ 1,325 Python 👤 TIGER-AI-Lab Organization 🕐 更新日時 2026-11-05 📅 作成日 2026-04-10
49
microsoft/prompty

Prompty は、AI アプリケーション用の LLM プロンプトの作成、管理、デバッグ、評価を容易にします。Prompty は、開発者のオブザーバビリティ、理解しやすさ、移植性を向上させるために設計された LLM プロンプトのアセットクラスおよび形式です。

microsoft
⭐ 1,288 Rust 👤 microsoft Organization 🕐 更新日時 2026-11-09 📅 作成日 2024-04-22
50
langchain-ai/openevals

LLMアプリ用の既製評価ツール

langchain-ai
⭐ 1,259 Python 👤 langchain-ai Organization 🕐 更新日時 2026-11-18 📅 作成日 2025-02-08

よくある質問

1

GitHubで最も人気のある#llm-evaluationリポジトリは何ですか?

GitHubで最も上位にランクインしているオープンソースの#llm-evaluationプロジェクトは、46,592個のスターを獲得しているifixai-ai/iFixAiです。AIエージェントの独立監査。人間またはエージェント自身が実行し、AIエージェント経済における最も重要な問いに答えます。そのエージェントは本来の役割を果たしているか?iFixAiを使えば、120秒以内にその答えを得ることができます。

2

#llm-evaluationリポジトリで最もよく使われているプログラミング言語は何ですか?

GitHubで上位にランクインしている#llm-evaluationプロジェクトでは、Python, Jupyter Notebook, TypeScript, Javaが最も一般的なプログラミング言語です。

3

#llm-evaluationリポジトリのランキングはどのように算出されていますか?

#llm-evaluationのタグが付いた108件のアクティブなオープンソースリポジトリ(スター500個以上)を追跡しています。合計スター数は444,825個で、リポジトリあたりの平均は4,118個です。ランキングはGitHub APIからのデータに基づいて毎日更新されます。