Git Stars Git Stars

#llm-evaluation Репозитории

108
Всего репозиториев
444,825
Всего звезд
4,118
Среднее количество звезд на репозиторий
Языки программирования: Python TypeScript HTML Jupyter Notebook Java

Всего репозиториев: 108

51
JackHopkins/factorio-learning-environment

Ненасыщаемая, открытая среда для оценки LLM в Factorio

JackHopkins
⭐ 1,224 Python 👤 JackHopkins User 🕐 Обновлено 2026-09-18 📅 Создано 2021-06-19
52
cvs-health/uqlm

[JMLR 2026] UQLM: пакет Python для обнаружения галлюцинаций больших языковых моделей с помощью количественной оценки неопределённости

cvs-health
⭐ 1,215 Python 👤 cvs-health Organization 🕐 Обновлено 2026-11-08 📅 Создано 2025-04-17
54
togethercomputer/together-cookbook

Подборка ноутбуков/рецептов, демонстрирующих варианты использования моделей с открытым исходным кодом с помощью Together AI.

togethercomputer
⭐ 1,191 Jupyter Notebook 👤 togethercomputer Organization 🕐 Обновлено 2026-11-18 📅 Создано 2024-10-07
55
wandb/weave

Weave — это набор инструментов для разработки приложений на базе искусственного интеллекта, созданный Weights & Biases.

wandb
⭐ 1,151 Python 👤 wandb Organization 🕐 Обновлено 2026-11-20 📅 Создано 2023-06-07
56
xinxuxin/keystone-bench

Бенчмарк клинических решений и доказательности: выделить единственный факт, на котором основан ответ, и проверить, меняется ли действие ассистента в соответствии с доказательствами. Построен на базе HealthBench.

xinxuxin
⭐ 1,130 Python 👤 xinxuxin User 🕐 Обновлено 2026-10-19 📅 Создано 2026-09-07
57
Jwuthri/Tracely-ai

Трассировочный CI/CD для ИИ-агентов: сбои в продакшене превращаются в регрессионные тесты, блокирующие PR. Автоматическое обнаружение и кластеризация, фиксация в герметичных тестовых случаях и воспроизведение в CI за $0.

Jwuthri
⭐ 1,122 Python 👤 Jwuthri User 🕐 Обновлено 2026-11-21 📅 Создано 2026-06-03
58
Arena-OSS/arena-hard-auto

Arena-Hard-Auto: Автоматический бенчмарк LLM.

Arena-OSS
⭐ 1,087 Python 👤 Arena-OSS Organization 🕐 Обновлено 2026-11-20 📅 Создано 2023-11-04
59
braintrustdata/autoevals

AutoEvals — это инструмент для быстрой и легкой оценки выходных данных моделей ИИ с использованием лучших практик.

braintrustdata
⭐ 1,087 Python 👤 braintrustdata Organization 🕐 Обновлено 2026-11-19 📅 Создано 2023-07-11
60
Continuum-AI-Corp/OrcaReplay

OrcaReplay — Путешествие во времени для ИИ-агентов. Записывайте, воспроизводите, создавайте ответвления и отлаживайте любые запуски агентов с любой моделью. Создано командой OrcaRouter.ai.

Continuum-AI-Corp
⭐ 1,083 TypeScript 👤 Continuum-AI-Corp Organization 🕐 Обновлено 2026-10-01 📅 Создано 2026-08-29
62
JudgmentLabs/judgeval

Стек непрерывного улучшения для агентов. Наши данные об окружающей среде и оценки способствуют улучшению и мониторингу агентов.

JudgmentLabs
⭐ 1,073 Python 👤 JudgmentLabs Organization 🕐 Обновлено 2026-11-19 📅 Создано 2024-10-25
63
ray-project/llmperf

LLMPerf — это библиотека для проверки и тестирования производительности LLM

ray-project
⭐ 1,066 Python 👤 ray-project Organization 🕐 Обновлено 2024-12-09 📅 Создано 2023-10-10
64
benchflow-ai/awesome-evals

Курируемая библиотека лучших ресурсов для создания и оценки AI-агентов — статьи, блоги, выступления, инструменты, бенчмарки. Поддерживается BenchFlow.

benchflow-ai
⭐ 1,049 👤 benchflow-ai Organization 🕐 Обновлено 2026-11-04 📅 Создано 2026-06-24
65
amazon-science/RAGChecker

RAGChecker: Точная структура для диагностики RAG

amazon-science
⭐ 1,032 Python 👤 amazon-science Organization 🕐 Обновлено 2024-12-13 📅 Создано 2024-06-24
66
majacinka/crewai-experiments

Эксперименты с локальными и доступными через API моделями

majacinka
⭐ 1,006 Python 👤 majacinka User 🕐 Обновлено 2024-05-05 📅 Создано 2024-01-13
67
KCORES/kcores-llm-arena

LLM Arena от команды KCORES

KCORES
⭐ 960 HTML 👤 KCORES Organization 🕐 Обновлено 2025-04-29 📅 Создано 2025-02-12
68
superwesleyhys-ux/factcircuit

FactCircuit: проверяемый аудитом цикл верификации утверждений и доказательств с неизменяемой информацией о происхождении, поэтапными проверками, ограниченным поиском и воспроизводимой оценкой.

superwesleyhys-ux
⭐ 926 Python 👤 superwesleyhys-ux User 🕐 Обновлено 2026-11-13 📅 Создано 2026-09-06
70
hinthornw/promptimizer

Scratch оптимизации запроса

hinthornw
⭐ 899 Python 👤 hinthornw User 🕐 Обновлено 2025-04-17 📅 Создано 2024-10-30
71
xlang-ai/Spider2

[ICLR 2025 Oral] Spider 2.0: Оценка языковых моделей на реальных корпоративных рабочих процессах Text-to-SQL

xlang-ai
⭐ 890 HTML 👤 xlang-ai Organization 🕐 Обновлено 2026-08-12 📅 Создано 2024-08-22
72
yule-BUAA/MergeLM

Кодовая база для слияния языковых моделей (ICML 2024)

yule-BUAA
⭐ 862 Python 👤 yule-BUAA User 🕐 Обновлено 2024-05-05 📅 Создано 2023-11-06
73
jwuthri-cloud/Tracely-ai

CI/CD с нативной поддержкой трейсов для ИИ-агентов: оценивайте трейсы из production, группируйте сбои, превращайте их в воспроизводимые регрессионные тесты и блокируйте PR, вызывающие регрессии. Можно развернуть на собственных серверах.

jwuthri-cloud
⭐ 850 Python 👤 jwuthri-cloud User 🕐 Обновлено 2026-11-16 📅 Создано 2026-10-11
74
darkrishabh/agent-skills-eval

Тестовый раннер для навыков ИИ-агентов в стиле agentskills.io

darkrishabh
⭐ 819 TypeScript 👤 darkrishabh User 🕐 Обновлено 2026-11-16 📅 Создано 2026-05-06
75
tjunlp-lab/Awesome-LLMs-Evaluation-Papers

Статьи организованы в соответствии с нашим обзором: Evaluating Large Language Models: A Comprehensive Survey.

tjunlp-lab
⭐ 791 👤 tjunlp-lab User 🕐 Обновлено 2024-05-08 📅 Создано 2023-10-29
77
overmind-core/overmind

Платформа для непрерывного улучшения ИИ-агентов.

overmind-core
⭐ 771 Python 👤 overmind-core Organization 🕐 Обновлено 2026-11-21 📅 Создано 2026-03-27
79
OpenLMLab/GAOKAO-Bench

GAOKAO-Bench — это платформа для оценки, которая использует вопросы GAOKAO в качестве набора данных для оценки больших языковых моделей.

OpenLMLab
⭐ 754 Python 👤 OpenLMLab Organization 🕐 Обновлено 2025-01-07 📅 Создано 2023-04-16
80
EverMind-AI/SkillCorpus

Инфраструктура с открытым исходным кодом, превращающая разрозненные файлы SKILL.md в курируемые корпуса навыков агентов, готовые к поиску, включая инструменты поиска и оценки.

EverMind-AI
⭐ 706 Python 👤 EverMind-AI Organization 🕐 Обновлено 2026-11-19 📅 Создано 2026-08-11
81
Steven-Luo/MasteringRAG

Корпоративные RAG-системы: от новичка до эксперта

Steven-Luo
⭐ 699 Jupyter Notebook 👤 Steven-Luo User 🕐 Обновлено 2025-06-25 📅 Создано 2024-07-16
82
mlabonne/llm-autoeval

Автоматически оценивайте свои LLM в Google Colab

mlabonne
⭐ 678 Python 👤 mlabonne User 🕐 Обновлено 2024-05-07 📅 Создано 2024-01-01
83
onejune2018/Awesome-LLM-Eval

Awesome-LLM-Eval: тщательно подобранный список инструментов, наборов данных/бенчмарков, демонстраций, таблиц лидеров, статей, документов и моделей, в основном для оценки LLM. Тщательно подобранный список инструментов, бенчмарков/данных, демонстраций, рейтингов и больших моделей, в основном ориентированный на оценку базовых больших моделей, с целью исследования технологических границ генеративного ИИ.

onejune2018
⭐ 661 👤 onejune2018 User 🕐 Обновлено 2025-11-24 📅 Создано 2023-04-26
84
wanghao-SunSky/cs329z-chinese

Учебник на китайском языке по курсу Stanford CS329Z Engineering AI Agents: курс по ИИ-агентам для разработчиков Python, включающий 19 лекций и 4 практических проекта. Рассматриваются LLM, RAG, вызов инструментов, память, мультиагентные системы, оценка и безопасность. Полная версия в Markdown, а также HTML для работы онлайн и офлайн. Конспекты курса на китайском языке.

wanghao-SunSky
⭐ 658 HTML 👤 wanghao-SunSky User 🕐 Обновлено 2026-11-06 📅 Создано 2026-10-28
85
ValueByte-AI/Awesome-LLM-in-Social-Science

Потрясающие статьи, связанные с LLM в социальных науках.

ValueByte-AI
⭐ 652 👤 ValueByte-AI Organization 🕐 Обновлено 2026-11-14 📅 Создано 2023-10-15
86
codefuse-ai/codefuse-devops-eval

Первый в отрасли эталон оценки LLM в области DevOps/AIOps.

codefuse-ai
⭐ 646 Python 👤 codefuse-ai Organization 🕐 Обновлено 2024-07-10 📅 Создано 2023-09-28
87
onyx-dot-app/EnterpriseRAG-Bench

Набор данных и эталон для RAG по внутренним документам компании.

onyx-dot-app
⭐ 639 👤 onyx-dot-app Organization 🕐 Обновлено 2026-09-03 📅 Создано 2026-02-19
88
HowieHwong/TrustLLM

[ICML 2024] TrustLLM: оценка надёжности LLM по критериям правдивости, безопасности, справедливости, устойчивости, конфиденциальности и этичности. Набор инструментов Python/CLI для локальных моделей, совместимых API и оркестрации ИИ-агентов.

HowieHwong
⭐ 635 Python 👤 HowieHwong User 🕐 Обновлено 2026-10-04 📅 Создано 2023-12-23
89
inclusionAI/ASearcher

Проект крупномасштабного обучения с подкреплением с открытым исходным кодом для поисковых агентов

inclusionAI
⭐ 617 Python 👤 inclusionAI Organization 🕐 Обновлено 2025-11-26 📅 Создано 2025-08-05
90
mlfoundations/evalchemy

Автоматические оценки для LLM

mlfoundations
⭐ 617 HTML 👤 mlfoundations Organization 🕐 Обновлено 2026-11-12 📅 Создано 2024-11-15
92
SalesforceAIResearch/MCP-Universe

MCP-Universe — это всесторонняя среда, предназначенная для обучения RL, бенчмаркинга и разработки ИИ-агентов для общего использования инструментов.

SalesforceAIResearch
⭐ 606 Python 👤 SalesforceAIResearch Organization 🕐 Обновлено 2026-10-08 📅 Создано 2025-05-02
93
CSHaitao/Awesome-LLMs-as-Judges

Официальный репозиторий статьи LLMs-as-Judges: Комплексный обзор методов оценки на основе LLM.

CSHaitao
⭐ 600 👤 CSHaitao User 🕐 Обновлено 2025-07-29 📅 Создано 2024-11-10
94
harish-gaggar/mcp-server-gateway

Шлюз MCP и MCP-серверы с OAuth. Агент LangGraph: память, оценка и отслеживание, защита персональных данных (PII), сокращение контекста. Быстрый запуск корпоративных агентов с помощью Docker.

harish-gaggar
⭐ 588 Python 👤 harish-gaggar User 🕐 Обновлено 2026-10-03 📅 Создано 2026-08-17
95
yfzhang114/Thyme

✨✨ [ICLR 2026] Думай за пределами изображений

yfzhang114
⭐ 585 Python 👤 yfzhang114 User 🕐 Обновлено 2025-09-23 📅 Создано 2025-08-17
96
General-Analysis/GA

Энциклопедия методов джейлбрейка для повышения безопасности моделей ИИ.

General-Analysis
⭐ 583 Jupyter Notebook 👤 General-Analysis Organization 🕐 Обновлено 2025-05-26 📅 Создано 2025-01-18
98
juanjuandog/FinSight-AI

ИИ-агент для исследования акций с отказоустойчивыми рабочими процессами, RAG на основе доказательств, версионируемыми отчётами и автоматизированной оценкой качества.

juanjuandog
⭐ 562 Java 👤 juanjuandog User 🕐 Обновлено 2026-09-02 📅 Создано 2026-05-11
100
RUCAIBox/HaluEval

Это репозиторий HaluEval, крупномасштабный эталон для оценки галлюцинаций для больших языковых моделей.

RUCAIBox
⭐ 540 Python 👤 RUCAIBox Organization 🕐 Обновлено 2024-02-12 📅 Создано 2023-05-18