Git Stars Git Stars

#evaluation Репозитории

Откройте для себя 89 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #evaluation, с общим числом 369,872 звёзд (в среднем 4,155 на проект). Лидером этой темы является lm-sys/FastChat, набравший 39,550 звёзд.

89
Всего репозиториев
369,872
Всего звезд
4,155
Среднее количество звезд на репозиторий

Всего репозиториев: 89

1
lm-sys/FastChat

Открытая платформа для обучения, развертывания и оценки больших языковых моделей. Репозиторий для Vicuna и Chatbot Arena.

lm-sys
⭐ 39,550 Python 👤 lm-sys Organization 🕐 Обновлено 2026-05-01 📅 Создано 2023-03-19
2
Tencent/WeKnora

Открытая платформа знаний LLM: превращает необработанные документы в запрашиваемый RAG, автономного агента рассуждений и самообновляемую Вики.

Tencent
⭐ 37,938 Go 👤 Tencent Organization 🕐 Обновлено 2026-11-21 📅 Создано 2025-07-22
3
langfuse/langfuse

🪢 Открытая платформа для разработки ИИ: AI Gateway, наблюдаемость агентов, оценка и управление промптами и навыками на базе OpenTelemetry. Единая открытая платформа для каждого вызова ИИ и каждого агента. Разверните её самостоятельно или используйте Langfuse Cloud.

langfuse
⭐ 37,696 TypeScript 👤 langfuse Organization 🕐 Обновлено 2026-11-21 📅 Создано 2023-05-18
4
mlflow/mlflow

Открытая платформа для инженерной разработки ИИ для агентов, LLM и моделей ML. MLflow позволяет командам любого размера отлаживать, оценивать, мониторить и оптимизировать приложения ИИ производственного качества, контролируя затраты и управляя доступом к моделям и данным.

mlflow
⭐ 28,920 Python 👤 mlflow Organization 🕐 Обновлено 2026-11-21 📅 Создано 2018-06-05
5
promptfoo/promptfoo

Тестируйте свои промпты, агенты и RAG. Red teaming/пентестинг/сканирование уязвимостей для ИИ. Сравнивайте производительность GPT, Claude, Gemini, DeepSeek и других моделей. Простые декларативные конфигурации с поддержкой командной строки и интеграцией CI/CD. Используется компаниями OpenAI и Anthropic.

promptfoo
⭐ 27,516 TypeScript 👤 promptfoo Organization 🕐 Обновлено 2026-11-21 📅 Создано 2023-04-28
6
comet-ml/opik

Отлаживайте, оценивайте и отслеживайте ваши LLM-приложения, RAG-системы и агентские рабочие процессы с помощью комплексного отслеживания, автоматизированных оценок и готовых к производству панелей мониторинга.

comet-ml
⭐ 23,479 Java 👤 comet-ml Organization 🕐 Обновлено 2026-11-21 📅 Создано 2023-05-10
7
vibrantlabsai/ragas

Ускорьте оценку ваших LLM-приложений 🚀

vibrantlabsai
⭐ 16,395 Python 👤 vibrantlabsai Organization 🕐 Обновлено 2026-11-14 📅 Создано 2023-05-08
8
open-compass/opencompass

OpenCompass — это платформа для оценки больших языковых моделей (LLM), поддерживающая широкий спектр моделей от OpenAI, Anthropic, Gemini, Qwen, GLM, DeepSeek и других компаний, а также более 100 наборов данных по знаниям, рассуждению, программированию, науке, языку, длинному контексту и безопасности.

open-compass
⭐ 7,610 Python 👤 open-compass Organization 🕐 Обновлено 2026-11-18 📅 Создано 2023-06-15
9
alchaincyf/darwin-skill

达尔文.skill —— Система, которая бесконечно эволюционирует ваши Skill: оценка→улучшение→тест→сохранение или откат | Автономная оптимизация навыков, вдохновленная Autoresearch для Claude Code. Оценивать, улучшать, тестировать, сохранять или откатывать.

alchaincyf
⭐ 7,015 HTML 👤 alchaincyf User 🕐 Обновлено 2026-11-18 📅 Создано 2026-04-13
10
Helicone/helicone

🧊 Платформа наблюдаемости LLM с открытым исходным кодом. Одна строка кода для мониторинга, оценки и экспериментов. YC W23 🍓

Helicone
⭐ 6,292 TypeScript 👤 Helicone Organization 🕐 Обновлено 2026-11-17 📅 Создано 2023-01-31
11
coze-dev/coze-loop

Платформа оптимизации ИИ-агентов нового поколения: Cozeloop решает проблемы разработки ИИ-агентов, предоставляя возможности управления полным жизненным циклом от разработки, отладки и оценки до мониторинга.

coze-dev
⭐ 5,799 Go 👤 coze-dev Organization 🕐 Обновлено 2026-11-17 📅 Создано 2025-06-24
12
Kiln-AI/Kiln

Создание, оценка и оптимизация систем ИИ. Включает оценки (evals), RAG, агентов, тонкую настройку (fine-tuning), генерацию синтетических данных, управление наборами данных, MCP и многое другое.

Kiln-AI
⭐ 5,286 Python 👤 Kiln-AI Organization 🕐 Обновлено 2026-11-21 📅 Создано 2024-07-23
13
langwatch/langwatch

Наблюдаемость и оценка агентов с открытым исходным кодом для команд AI-платформ. Отслеживайте, тестируйте, маршрутизируйте и управляйте каждым агентом и помощником в написании кода в компании.

langwatch
⭐ 5,050 TypeScript 👤 langwatch Organization 🕐 Обновлено 2026-11-21 📅 Создано 2023-09-09
14
EvolvingLMMs-Lab/lmms-eval

Универсальный мультимодальный набор для оценки задач по тексту, изображениям, видео и аудио

EvolvingLMMs-Lab
⭐ 4,501 Python 👤 EvolvingLMMs-Lab Organization 🕐 Обновлено 2026-11-20 📅 Создано 2024-03-07
15
open-compass/VLMEvalKit

Набор инструментов для оценки больших мультимодальных моделей (LMM) с открытым исходным кодом, поддержка 220+ LMM, 80+ бенчмарков

open-compass
⭐ 4,499 Python 👤 open-compass Organization 🕐 Обновлено 2026-11-19 📅 Создано 2023-12-01
16
MichaelGrupp/evo

Пакет Python для оценки одометрии и SLAM

MichaelGrupp
⭐ 4,367 Python 👤 MichaelGrupp User 🕐 Обновлено 2026-11-15 📅 Создано 2017-09-13
17
NVIDIA/SkillEvaluator

Многоуровневая платформа для оценки навыков и плагинов ИИ-агентов: контроль качества, сканирование безопасности, проверка совместимости с тестовой средой, обнаружение семантических пересечений, генерация синтетических наборов данных для оценки и оценка агентов в реальном времени, измеряющая влияние навыков на поведение агента. Включает повторно используемые шаблоны CI, позволяющие внедрить все проверки в любой репозиторий.

NVIDIA
⭐ 4,300 Python 👤 NVIDIA Organization 🕐 Обновлено 2026-11-21 📅 Создано 2026-06-24
18
modelscope/evalscope

Оптимизированная и настраиваемая структура для эффективной оценки и тестирования производительности больших моделей (LLM, VLM, AIGC).

modelscope
⭐ 3,715 Python 👤 modelscope Organization 🕐 Обновлено 2026-11-20 📅 Создано 2023-12-07
19
embeddings-benchmark/mteb

MTEB: Современная оценка эмбеддингов для разных языков и модальностей

embeddings-benchmark
⭐ 3,519 Python 👤 embeddings-benchmark Organization 🕐 Обновлено 2026-11-21 📅 Создано 2022-04-05
20
lmnr-ai/lmnr

Laminar — платформа с открытым исходным кодом для обеспечения наблюдаемости, специально созданная для ИИ-агентов. YC S24.

lmnr-ai
⭐ 3,516 TypeScript 👤 lmnr-ai Organization 🕐 Обновлено 2026-11-20 📅 Создано 2024-08-29
21
CLUEbenchmark/SuperCLUE

SuperCLUE: Комплексный бенчмарк для универсальных больших моделей на китайском языке | Бенчмарк для базовых моделей на китайском языке

CLUEbenchmark
⭐ 3,308 👤 CLUEbenchmark Organization 🕐 Обновлено 2026-02-06 📅 Создано 2023-05-02
22
viebel/klipse

Klipse — это плагин JavaScript для встраивания интерактивных фрагментов кода в технические блоги.

viebel
⭐ 3,134 HTML 👤 viebel User 🕐 Обновлено 2024-10-01 📅 Создано 2015-11-19
23
ianarawjo/ChainForge

Открытая визуальная среда программирования для боевого тестирования подсказок для LLM.

ianarawjo
⭐ 3,044 TypeScript 👤 ianarawjo User 🕐 Обновлено 2026-10-29 📅 Создано 2023-03-26
24
microsoft/promptbench

Единая система оценки для больших языковых моделей

microsoft
⭐ 2,786 Python 👤 microsoft Organization 🕐 Обновлено 2026-02-20 📅 Создано 2023-06-13
25
yaojingang/yao-meta-skill

YAO = Получение результатов ИИ. Строгая система инженерии, оценки, управления и переносимости для многократно используемых навыков агентов.

yaojingang
⭐ 2,739 Python 👤 yaojingang User 🕐 Обновлено 2026-11-09 📅 Создано 2026-03-31
26
huggingface/lighteval

Lighteval — это ваш универсальный набор инструментов для оценки LLM на различных бэкэндах

huggingface
⭐ 2,587 Python 👤 huggingface Organization 🕐 Обновлено 2026-11-18 📅 Создано 2024-01-26
27
huggingface/evaluate

🤗 Evaluate: Библиотека для легкой оценки моделей и наборов данных машинного обучения.

huggingface
⭐ 2,498 Python 👤 huggingface Organization 🕐 Обновлено 2026-11-16 📅 Создано 2022-03-30
28
1517005260/graph-rag-agent

Сборка RAG: Ручная сборка и слияние GraphRAG, LightRAG и Neo4j-llm-graph-builder для построения и поиска графа знаний; интеграция технологии DeepSearch для логического вывода RAG в частной области; самостоятельное создание фреймворка оценки для GraphRAG.

1517005260
⭐ 2,355 Python 👤 1517005260 User 🕐 Обновлено 2025-11-05 📅 Создано 2025-02-12
29
uptrain-ai/uptrain

UpTrain — это унифицированная платформа с открытым исходным кодом для оценки и улучшения генеративных ИИ-приложений. Мы предоставляем оценки по более чем 20 предварительно настроенным проверкам (охватывающим случаи использования языка, кода, встраивания), выполняем анализ первопричин сбоев и даем рекомендации по их устранению.

uptrain-ai
⭐ 2,337 Python 👤 uptrain-ai Organization 🕐 Обновлено 2024-08-18 📅 Создано 2022-11-07
30
MCPJam/inspector

Платформа для тестирования и оценки, позволяющая общаться, проверять и отлаживать серверы MCP, приложения MCP и приложения ChatGPT.

MCPJam
⭐ 2,331 TypeScript 👤 MCPJam Organization 🕐 Обновлено 2026-11-21 📅 Создано 2025-05-23
31
Sahir619/fable-method

Рабочий процесс Fable: как работал Claude Fable 5, дистиллированный в навыки, которые может выполнять любая модель, с оценкой, которая сохраняет его честность. Думайте / действуйте / доказывайте.

Sahir619
⭐ 2,324 Python 👤 Sahir619 User 🕐 Обновлено 2026-10-03 📅 Создано 2026-07-06
32
Xnhyacinth/Awesome-LLM-Long-Context-Modeling

📰 Обязательные к прочтению статьи и блоги по моделированию длинного контекста на основе LLM 🔥

Xnhyacinth
⭐ 2,191 👤 Xnhyacinth User 🕐 Обновлено 2026-11-13 📅 Создано 2023-09-17
33
huggingface/evaluation-guidebook

Обмен как практическими идеями, так и теоретическими знаниями об оценке LLM, которые мы собрали при управлении Open LLM Leaderboard и разработке lighteval!

huggingface
⭐ 2,166 Jupyter Notebook 👤 huggingface Organization 🕐 Обновлено 2025-12-03 📅 Создано 2024-10-09
34
ContinualAI/avalanche

Avalanche: сквозная библиотека для непрерывного обучения на основе PyTorch.

ContinualAI
⭐ 2,054 Python 👤 ContinualAI Organization 🕐 Обновлено 2025-03-11 📅 Создано 2020-03-05
35
Cloud-CV/EvalAI

:cloud: :rocket: :bar_chart: :chart_with_upwards_trend: Оценка передовых достижений в области ИИ

Cloud-CV
⭐ 2,049 Python 👤 Cloud-CV Organization 🕐 Обновлено 2026-11-14 📅 Создано 2016-10-21
36
tatsu-lab/alpaca_eval

Автоматический оценщик для языковых моделей, следующих инструкциям. Проверено человеком, высокое качество, дешево и быстро.

tatsu-lab
⭐ 2,010 Jupyter Notebook 👤 tatsu-lab Organization 🕐 Обновлено 2025-08-09 📅 Создано 2023-05-25
37
trpc-group/trpc-agent-go

Go-фреймворк для создания промышленных агентных систем с поддержкой графовых рабочих процессов, инструментов, памяти, A2A, AG-UI, MCP, оценки и наблюдаемости.

trpc-group
⭐ 1,940 Go 👤 trpc-group Organization 🕐 Обновлено 2026-11-21 📅 Создано 2025-05-14
38
xinshuoweng/AB3DMOT

(IROS 2020, ECCVW 2020) Официальная реализация на Python для «3D Multi-Object Tracking: A Baseline and New Evaluation Metrics»

xinshuoweng
⭐ 1,805 Python 👤 xinshuoweng User 🕐 Обновлено 2024-04-03 📅 Создано 2019-06-19
39
onestardao/WFGY

WFGY движется к WFGY 5.0 Polaris Protocol, крупному релизу с открытым исходным кодом для ИИ-рассуждений, RAG, агентов и рабочих процессов в реальном мире. Включает Problem Map, Global Debug Card, WFGY 4.0 и пасхальное яйцо CFV.

onestardao
⭐ 1,804 Jupyter Notebook 👤 onestardao User 🕐 Обновлено 2026-11-21 📅 Создано 2025-06-04
40
SmartFlowAI/EmoLLM

Модели для психического здоровья (LLM x Mental Health), Предобучение и дообучение & Набор данных & Оценка & Развертывание & RAG, с моделями серий InternLM / Qwen / Baichuan / DeepSeek / Mixtral / LLama / GLM

SmartFlowAI
⭐ 1,797 Python 👤 SmartFlowAI Organization 🕐 Обновлено 2026-06-18 📅 Создано 2024-01-11
41
deepsense-ai/ragbits

Строительные блоки для быстрой разработки приложений GenAI

deepsense-ai
⭐ 1,678 Python 👤 deepsense-ai Organization 🕐 Обновлено 2026-05-18 📅 Создано 2024-09-02
42
MLGroupJLU/LLM-eval-survey

Официальная страница GitHub для обзорной статьи "A Survey on Evaluation of Large Language Models".

MLGroupJLU
⭐ 1,615 👤 MLGroupJLU User 🕐 Обновлено 2026-11-18 📅 Создано 2023-07-02
43
sepandhaghighi/pycm

Библиотека матрицы ошибок для multi-class в Python

sepandhaghighi
⭐ 1,507 Python 👤 sepandhaghighi User 🕐 Обновлено 2026-11-16 📅 Создано 2018-01-22
44
Maluuba/nlg-eval

Код оценки для различных неконтролируемых автоматических метрик для генерации естественного языка.

Maluuba
⭐ 1,391 Python 👤 Maluuba Organization 🕐 Обновлено 2024-08-20 📅 Создано 2017-06-27
45
NVIDIA-NeMo/Gym

Оценивать и улучшать модели и агенты с использованием окружений

NVIDIA-NeMo
⭐ 1,347 Python 👤 NVIDIA-NeMo Organization 🕐 Обновлено 2026-11-21 📅 Создано 2025-08-25
46
ScalingIntelligence/KernelBench

KernelBench: Могут ли LLM писать GPU-ядра? - Бенчмарк + инструментарий с Torch -> CUDA (+ другие DSL)

ScalingIntelligence
⭐ 1,336 Jupyter Notebook 👤 ScalingIntelligence Organization 🕐 Обновлено 2026-03-24 📅 Создано 2024-10-25
47
TIGER-AI-Lab/ClawBench

Открытый бенчмарк для ИИ-агентов браузера в повседневных задачах.

TIGER-AI-Lab
⭐ 1,325 Python 👤 TIGER-AI-Lab Organization 🕐 Обновлено 2026-11-05 📅 Создано 2026-04-10
48
abo-abo/lispy

Короткое и ясное редактирование LISP

abo-abo
⭐ 1,297 Emacs Lisp 👤 abo-abo User 🕐 Обновлено 2026-01-23 📅 Создано 2014-01-10
49
EthicalML/xai

XAI — Набор инструментов eXplainability (объяснимости) для машинного обучения

EthicalML
⭐ 1,270 Python 👤 EthicalML Organization 🕐 Обновлено 2025-11-29 📅 Создано 2019-01-11
50
plurai-ai/intellagent

Фреймворк для комплексной диагностики и оптимизации агентов с использованием смоделированных, реалистичных синтетических взаимодействий

plurai-ai
⭐ 1,266 Python 👤 plurai-ai Organization 🕐 Обновлено 2026-09-14 📅 Создано 2024-10-28

Часто задаваемые вопросы

1

Какой репозиторий по теме #evaluation наиболее популярен на GitHub?

Самый высоко оценённый проект с открытым исходным кодом по теме #evaluation на GitHub — lm-sys/FastChat, набравший 39,550 звёзд. Открытая платформа для обучения, развертывания и оценки больших языковых моделей. Репозиторий для Vicuna и Chatbot Arena.

2

Какие языки программирования чаще всего используются в репозиториях по теме #evaluation?

Среди наиболее высоко оценённых проектов по теме #evaluation на GitHub чаще всего используются языки программирования Python, TypeScript, Jupyter Notebook, Go.

3

Как рассчитывается рейтинг репозиториев по теме #evaluation?

Мы отслеживаем 89 активных репозиториев с открытым исходным кодом, отмеченных тегом #evaluation (500 и более звёзд), с общим числом 369,872 звёзд и в среднем 4,155 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.