Git Stars Git Stars

#evaluation Репозитории

89
Всего репозиториев
369,872
Всего звезд
4,155
Среднее количество звезд на репозиторий
Языки программирования: Python C# TypeScript Rust Go PHP Jupyter Notebook

Всего репозиториев: 89

51
chunxiaoxx/nautilus-compass

Открытый слой памяти и надежности для ИИ-агентов + независимая оценка/проверка (судья NACRE, метабенчмарк caliber-bench, заранее зарегистрированные критерии) — от Nautilus Platform

chunxiaoxx
⭐ 1,260 Python 👤 chunxiaoxx User 🕐 Обновлено 2026-11-19 📅 Создано 2026-04-27
52
run-house/kubetorch

Распределяйте и запускайте рабочие нагрузки ИИ на Kubernetes «волшебным» образом на Python, подобно PyTorch для инфраструктуры машинного обучения (ML).

run-house
⭐ 1,228 Python 👤 run-house Organization 🕐 Обновлено 2026-05-29 📅 Создано 2022-05-10
53
google/fuzzbench

FuzzBench - Бенчмаркинг фуззеров как услуга.

google
⭐ 1,211 Python 👤 google Organization 🕐 Обновлено 2026-01-26 📅 Создано 2020-02-04
54
toshas/torch-fidelity

Метрики производительности с высокой степенью достоверности для генеративных моделей в PyTorch

toshas
⭐ 1,205 Python 👤 toshas User 🕐 Обновлено 2026-10-25 📅 Создано 2020-04-23
55
ncalc/ncalc

NCalc — это быстрая и легковесная библиотека для вычисления выражений для .NET, разработанная с учетом гибкости и высокой производительности. Она поддерживает широкий спектр математических и логических операций.

ncalc
⭐ 1,172 C# 👤 ncalc Organization 🕐 Обновлено 2026-11-21 📅 Создано 2017-11-15
56
xinxuxin/keystone-bench

Бенчмарк клинических решений и доказательности: выделить единственный факт, на котором основан ответ, и проверить, меняется ли действие ассистента в соответствии с доказательствами. Построен на базе HealthBench.

xinxuxin
⭐ 1,130 Python 👤 xinxuxin User 🕐 Обновлено 2026-10-19 📅 Создано 2026-09-07
57
Jwuthri/Tracely-ai

Трассировочный CI/CD для ИИ-агентов: сбои в продакшене превращаются в регрессионные тесты, блокирующие PR. Автоматическое обнаружение и кластеризация, фиксация в герметичных тестовых случаях и воспроизведение в CI за $0.

Jwuthri
⭐ 1,122 Python 👤 Jwuthri User 🕐 Обновлено 2026-11-21 📅 Создано 2026-06-03
58
agentscope-ai/OpenJudge

OpenJudge: Единая платформа для комплексной оценки и вознаграждений за качество

agentscope-ai
⭐ 1,121 Python 👤 agentscope-ai Organization 🕐 Обновлено 2026-11-21 📅 Создано 2025-07-08
59
prometheus-eval/prometheus-eval

Оцените ответ вашего LLM с помощью Prometheus и GPT4 💯

prometheus-eval
⭐ 1,087 Python 👤 prometheus-eval Organization 🕐 Обновлено 2025-04-25 📅 Создано 2024-04-18
60
langchain-ai/langsmith-sdk

Реализации клиентского SDK LangSmith

langchain-ai
⭐ 1,082 Python 👤 langchain-ai Organization 🕐 Обновлено 2026-10-16 📅 Создано 2023-05-30
61
MAC-AutoML/MindPipe

Мощный фреймворк для сжатия моделей для LLM и LVLMs, адаптированный для GPU NVIDIA и NPU Huawei Ascend.

MAC-AutoML
⭐ 1,013 Python 👤 MAC-AutoML Organization 🕐 Обновлено 2026-08-11 📅 Создано 2026-01-22
62
nolabs-ai/deepfabric

Генерируйте высококачественные синтетические данные, обучайте, измеряйте и оценивайте в рамках единого конвейера

nolabs-ai
⭐ 896 Python 👤 nolabs-ai Organization 🕐 Обновлено 2026-11-13 📅 Создано 2024-10-25
63
PRBonn/semantic-kitti-api

API SemanticKITTI для визуализации набора данных, обработки данных и оценки результатов.

PRBonn
⭐ 895 Python 👤 PRBonn Organization 🕐 Обновлено 2025-04-03 📅 Создано 2019-07-24
64
suyoumo/ClawProBench

ClawProBench — это тестовая среда с приоритетом на живые тесты для оценки агентов LLM в рантайме OpenClaw с детерминированной оценкой и надежностью повторных испытаний.

suyoumo
⭐ 829 Rust 👤 suyoumo User 🕐 Обновлено 2026-08-25 📅 Создано 2025-03-02
65
PaesslerAG/gval

Вычисление выражений в Golang

PaesslerAG
⭐ 819 Go 👤 PaesslerAG Organization 🕐 Обновлено 2026-09-13 📅 Создано 2017-09-27
66
robocurve/inspect-robots

Открытые оценки для физического ИИ. Запускайте любую LLM/VLA на любой роботизированной руке или гуманоиде и тестируйте на любом реальном или симулированном бенчмарке.

robocurve
⭐ 776 Python 👤 robocurve Organization 🕐 Обновлено 2026-11-11 📅 Создано 2026-06-26
67
angular/web-codegen-scorer

Web Codegen Scorer — это инструмент для оценки качества веб-кода, сгенерированного LLM.

angular
⭐ 774 TypeScript 👤 angular Organization 🕐 Обновлено 2026-05-05 📅 Создано 2025-09-04
68
IntelLabs/RAG-FiT

Фреймворк для улучшения LLM для задач RAG с использованием тонкой настройки.

IntelLabs
⭐ 766 Python 👤 IntelLabs Organization 🕐 Обновлено 2026-06-08 📅 Создано 2024-07-23
69
ModelTC/LightCompress

[EMNLP 2024 & AAAI 2026] Мощный набор инструментов для сжатия больших моделей, включая LLM, VLM и модели генерации видео.

ModelTC
⭐ 755 Python 👤 ModelTC Organization 🕐 Обновлено 2026-05-14 📅 Создано 2024-03-06
70
comet-ml/opik-openclaw

🦞 Официальный плагин для OpenClaw, который экспортирует трассировки агентов в Opik. Просматривайте и отслеживайте поведение агента, стоимость, токены, ошибки и многое другое.

comet-ml
⭐ 723 TypeScript 👤 comet-ml Organization 🕐 Обновлено 2026-11-20 📅 Создано 2026-03-02
71
AgentSafeLabs/safelabs-eval

Фреймворк для редтиминга и оценки ИИ-агентов, построенный на таксономии ASI01–ASI10, вдохновлённой OWASP

AgentSafeLabs
⭐ 713 Python 👤 AgentSafeLabs Organization 🕐 Обновлено 2026-11-06 📅 Создано 2026-05-25
72
bochinski/iou-tracker

Реализация IOU Tracker на Python

bochinski
⭐ 701 Python 👤 bochinski User 🕐 Обновлено 2026-06-14 📅 Создано 2017-07-25
73
google-deepmind/long-form-factuality

Бенчмаркинг фактической точности длинных текстов в больших языковых моделях. Исходный код нашей статьи «Long-form factuality in large language models».

google-deepmind
⭐ 698 Python 👤 google-deepmind Organization 🕐 Обновлено 2026-06-18 📅 Создано 2024-03-25
74
AmenRa/ranx

⚡️ Молниеносно быстрая библиотека Python для оценки, сравнения и слияния рейтингов 🐍

AmenRa
⭐ 691 Python 👤 AmenRa User 🕐 Обновлено 2025-08-07 📅 Создано 2020-06-02
75
onejune2018/Awesome-LLM-Eval

Awesome-LLM-Eval: тщательно подобранный список инструментов, наборов данных/бенчмарков, демонстраций, таблиц лидеров, статей, документов и моделей, в основном для оценки LLM. Тщательно подобранный список инструментов, бенчмарков/данных, демонстраций, рейтингов и больших моделей, в основном ориентированный на оценку базовых больших моделей, с целью исследования технологических границ генеративного ИИ.

onejune2018
⭐ 661 👤 onejune2018 User 🕐 Обновлено 2025-11-24 📅 Создано 2023-04-26
76
run-llama/ParseBench

ParseBench - Эталон анализа документов для ИИ-агентов

run-llama
⭐ 650 Python 👤 run-llama Organization 🕐 Обновлено 2026-11-21 📅 Создано 2026-04-10
77
ucinlp/autoprompt

AutoPrompt: Автоматическое построение подсказок для маскированных языковых моделей.

ucinlp
⭐ 643 Python 👤 ucinlp Organization 🕐 Обновлено 2026-09-02 📅 Создано 2020-03-01
78
chrisliu298/awesome-llm-unlearning

Репозиторий ресурсов для машинного обучения в больших языковых моделях

chrisliu298
⭐ 640 👤 chrisliu298 User 🕐 Обновлено 2026-10-06 📅 Создано 2024-03-27
79
onyx-dot-app/EnterpriseRAG-Bench

Набор данных и эталон для RAG по внутренним документам компании.

onyx-dot-app
⭐ 639 👤 onyx-dot-app Organization 🕐 Обновлено 2026-09-03 📅 Создано 2026-02-19
80
HowieHwong/TrustLLM

[ICML 2024] TrustLLM: оценка надёжности LLM по критериям правдивости, безопасности, справедливости, устойчивости, конфиденциальности и этичности. Набор инструментов Python/CLI для локальных моделей, совместимых API и оркестрации ИИ-агентов.

HowieHwong
⭐ 635 Python 👤 HowieHwong User 🕐 Обновлено 2026-10-04 📅 Создано 2023-12-23
81
tecnickcom/tcexam

TCExam — это система CBA (Computer-Based Assessment) (e-exam, CBT - Computer Based Testing) для университетов, школ и компаний, которая позволяет педагогам и тренерам создавать, планировать, проводить и отчитываться о опросах, викторинах, тестах и экзаменах.

tecnickcom
⭐ 634 PHP 👤 tecnickcom Organization 🕐 Обновлено 2026-11-21 📅 Создано 2013-04-15
82
codingseb/ExpressionEvaluator

Простой оценщик математических и псевдо-C# выражений в одном файле C#. Также может выполнять небольшие скрипты, похожие на C#

codingseb
⭐ 630 C# 👤 codingseb User 🕐 Обновлено 2025-09-08 📅 Создано 2017-03-15
83
danthedeckie/simpleeval

Простой безопасный изолированный расширяемый оценщик выражений для Python

danthedeckie
⭐ 618 Python 👤 danthedeckie User 🕐 Обновлено 2026-10-25 📅 Создано 2013-12-03
84
DocAILab/XRAG

XRAG: eXamining the Core — сравнительный анализ базовых компонентных модулей в расширенной генерации с дополнением извлечённой информацией

DocAILab
⭐ 612 Python 👤 DocAILab Organization 🕐 Обновлено 2026-11-01 📅 Создано 2024-09-07
85
MMMU-Benchmark/MMMU

Этот репозиторий содержит код оценки для статьи «MMMU: Massive Multi-discipline Multimodal Understanding and Reasoning Benchmark for Expert AGI»

MMMU-Benchmark
⭐ 601 Python 👤 MMMU-Benchmark Organization 🕐 Обновлено 2026-11-13 📅 Создано 2023-11-23
86
jkkummerfeld/text2sql-data

Коллекция наборов данных, сопоставляющих вопросы с SQL-запросами.

jkkummerfeld
⭐ 587 Python 👤 jkkummerfeld User 🕐 Обновлено 2025-03-03 📅 Создано 2018-05-11
87
GrumpyZhou/image-matching-toolbox

Это репозиторий инструментов для помощи в оценке различных методов сопоставления изображений по паре изображений.

GrumpyZhou
⭐ 586 Jupyter Notebook 👤 GrumpyZhou User 🕐 Обновлено 2024-04-29 📅 Создано 2020-11-24
88
facebookresearch/meta-agents-research-environments

Meta Agents Research Environments — это комплексная платформа, предназначенная для оценки ИИ-агентов в динамичных и реалистичных сценариях. В отличие от статических бенчмарков, эта платформа представляет собой развивающуюся среду, в которой агенты должны адаптировать свои стратегии по мере поступления новой информации, что отражает реальные жизненные задачи.

facebookresearch
⭐ 581 Python 👤 facebookresearch Organization 🕐 Обновлено 2026-09-30 📅 Создано 2025-09-11
89
SeekingDream/Static-to-Dynamic-LLMEval

Официальный репозиторий GitHub статьи «Recent advances in large language model benchmarks against data contamination: From static to dynamic evaluation»

SeekingDream
⭐ 500 👤 SeekingDream User 🕐 Обновлено 2026-09-28 📅 Создано 2025-02-21