#evaluation リポジトリ
#evaluationのタグが付いた、GitHub上の89件のアクティブなオープンソースリポジトリをご覧ください。合計スター数は369,872個で、プロジェクトあたりの平均は4,155個です。このトピックをリードしているのは、39,550個のスターを獲得しているlm-sys/FastChatです。
リポジトリ合計89件
🪢 OpenTelemetry を基盤とするオープンソースの AI エンジニアリングプラットフォーム。AI ゲートウェイ、エージェントの可観測性、評価、プロンプト/スキル管理を提供します。あらゆる AI 呼び出しとエージェントに対応する、ひとつのオープンプラットフォーム。セルフホストでも Langfuse Cloud でも利用できます。
エージェント、LLM、MLモデル向けのオープンソースAIエンジニアリングプラットフォーム。MLflowは、あらゆる規模のチームが生産品質のAIアプリケーションをデバッグ、評価、監視、最適化できるようにし、コストを制御し、モデルとデータのアクセスを管理します。
プロンプト、エージェント、RAGをテストしましょう。AI向けのレッドチーミング/ペネトレーションテスト/脆弱性スキャンを実行します。GPT、Claude、Gemini、DeepSeekなどのパフォーマンスを比較。コマンドラインおよびCI/CD統合を備えたシンプルな宣言型構成。OpenAIやAnthropicでも採用されています。
包括的なトレーシング、自動評価、本番稼働に対応したダッシュボードで、LLM アプリケーション、RAG システム、エージェント型ワークフローをデバッグ、評価、監視します。
OpenCompassは、OpenAI、Anthropic、Gemini、Qwen、GLM、DeepSeekなどの幅広い大規模言語モデル(LLM)をサポートする評価プラットフォームです。知識、推論、コーディング、科学、言語、長文脈、安全性を網羅する100以上のデータセットに対応しています。
达尔文.skill —— あなたのSkillを無限に進化させるシステム:評価→改善→テスト→保持またはロールバック | Claude Code向けAutoresearchに着想を得た自律型スキル最適化。評価、改善、テスト、保持またはリバート。
次世代AIエージェント最適化プラットフォーム:Cozeloopは、開発、デバッグ、評価から監視までのライフサイクル全体を管理する機能を提供し、AIエージェント開発の課題に対応します。
AIプラットフォームチーム向けのオープンソースのエージェント可観測性と評価。社内のすべてのエージェントとコーディングアシスタントを追跡、テスト、ルーティング、ガバナンスします。
AIエージェントのスキルやプラグインを評価するための多層型フレームワークです。品質ゲート、セキュリティスキャン、テストハーネスとの互換性チェック、意味的な重複の検出、評価用合成データセットの生成に加え、スキルがエージェントの振る舞いに与える影響を測定するエージェントのライブ評価を備えています。再利用可能なCIテンプレートを提供し、あらゆるリポジトリにすべてのチェックを導入できます。
RAGを構築:GraphRAG、LightRAG、Neo4j-llm-graph-builderをマージして知識グラフの構築と検索を実現。DeepSearch技術を統合し、プライベートドメインRAGの推論を実現。GraphRAG用のカスタム評価フレームワークを自作。
UpTrainは、生成AIアプリケーションを評価および改善するためのオープンソースの統合プラットフォームです。20以上の事前設定されたチェック(言語、コード、埋め込みのユースケースをカバー)の評価を提供し、失敗ケースの根本原因分析を実行し、それらを解決する方法に関する洞察を提供します。
Open LLM Leaderboard の管理と lighteval の設計中に収集した、LLM 評価に関する実践的な洞察と理論的知識の両方を共有します!
グラフワークフロー、ツール、メモリ、A2A、AG-UI、MCP、評価、可観測性を備えた、本番環境向けエージェントシステム構築用Goフレームワーク。
(IROS 2020, ECCVW 2020) 「3D Multi-Object Tracking: A Baseline and New Evaluation Metrics」の公式 Python 実装
WFGYは、AI推論、RAG、エージェント、現実世界のワークフローを対象とした主要なオープンソースリリースであるWFGY 5.0 Polaris Protocolに向かっています。Problem Map、Global Debug Card、WFGY 4.0、およびCFVのイースターエッグが含まれます。
メンタルヘルス大規模言語モデル (LLM x Mental Health)、事前・事後トレーニング & データセット & 評価 & デプロイ & RAG、InternLM / Qwen / Baichuan / DeepSeek / Mixtral / LLama / GLMシリーズモデルを使用
KernelBench: LLMはGPUカーネルを記述できるか? - TorchからCUDA(+その他のDSL)へのベンチマークとツールキット
よくある質問
GitHubで最も人気のある#evaluationリポジトリは何ですか?
GitHubで最も上位にランクインしているオープンソースの#evaluationプロジェクトは、39,550個のスターを獲得しているlm-sys/FastChatです。大規模言語モデルのトレーニング、サービング、評価のためのオープン プラットフォーム。Vicuna と Chatbot Arena のリポジトリを公開します。
#evaluationリポジトリで最もよく使われているプログラミング言語は何ですか?
GitHubで上位にランクインしている#evaluationプロジェクトでは、Python, TypeScript, Jupyter Notebook, Goが最も一般的なプログラミング言語です。
#evaluationリポジトリのランキングはどのように算出されていますか?
#evaluationのタグが付いた89件のアクティブなオープンソースリポジトリ(スター500個以上)を追跡しています。合計スター数は369,872個で、リポジトリあたりの平均は4,155個です。ランキングはGitHub APIからのデータに基づいて毎日更新されます。