Git Stars Git Stars

#evaluation-framework Репозитории

Откройте для себя 13 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #evaluation-framework, с общим числом 100,331 звёзд (в среднем 7,717 на проект). Лидером этой темы является promptfoo/promptfoo, набравший 27,516 звёзд.

13
Всего репозиториев
100,331
Всего звезд
7,717
Среднее количество звезд на репозиторий
Языки программирования: Python TypeScript Jupyter Notebook

Всего репозиториев: 13

1
promptfoo/promptfoo

Тестируйте свои промпты, агенты и RAG. Red teaming/пентестинг/сканирование уязвимостей для ИИ. Сравнивайте производительность GPT, Claude, Gemini, DeepSeek и других моделей. Простые декларативные конфигурации с поддержкой командной строки и интеграцией CI/CD. Используется компаниями OpenAI и Anthropic.

promptfoo
⭐ 27,516 TypeScript 👤 promptfoo Organization 🕐 Обновлено 2026-11-21 📅 Создано 2023-04-28
2
openai/evals

Evals — это фреймворк для оценки LLM и LLM-систем, а также реестр бенчмарков с открытым исходным кодом.

openai
⭐ 19,776 Python 👤 openai Organization 🕐 Обновлено 2026-04-14 📅 Создано 2023-01-23
3
confident-ai/deepeval

Фреймворк оценки LLM

confident-ai
⭐ 19,585 Python 👤 confident-ai Organization 🕐 Обновлено 2026-11-19 📅 Создано 2023-08-10
4
EleutherAI/lm-evaluation-harness

Фреймворк для оценки языковых моделей на малом количестве примеров.

EleutherAI
⭐ 14,515 Python 👤 EleutherAI Organization 🕐 Обновлено 2026-11-04 📅 Создано 2020-08-28
5
Kiln-AI/Kiln

Создание, оценка и оптимизация систем ИИ. Включает оценки (evals), RAG, агентов, тонкую настройку (fine-tuning), генерацию синтетических данных, управление наборами данных, MCP и многое другое.

Kiln-AI
⭐ 5,286 Python 👤 Kiln-AI Organization 🕐 Обновлено 2026-11-21 📅 Создано 2024-07-23
6
Nicolepcx/ai-agents-the-definitive-guide

Репозиторий для AI-агентов: Полное руководство

Nicolepcx
⭐ 3,020 Jupyter Notebook 👤 Nicolepcx User 🕐 Обновлено 2026-08-01 📅 Создано 2025-08-22
7
huggingface/lighteval

Lighteval — это ваш универсальный набор инструментов для оценки LLM на различных бэкэндах

huggingface
⭐ 2,587 Python 👤 huggingface Organization 🕐 Обновлено 2026-11-18 📅 Создано 2024-01-26
8
future-agi/future-agi

Открытая платформа полного цикла для оценки, наблюдения и улучшения приложений LLM и ИИ-агентов. Tracing · Evals · Simulations · Datasets · Gateway · Guardrails. Самостоятельный хостинг. Apache 2.0.

future-agi
⭐ 2,284 Python 👤 future-agi Organization 🕐 Обновлено 2026-11-21 📅 Создано 2026-04-23
9
Cloud-CV/EvalAI

:cloud: :rocket: :bar_chart: :chart_with_upwards_trend: Оценка передовых достижений в области ИИ

Cloud-CV
⭐ 2,049 Python 👤 Cloud-CV Organization 🕐 Обновлено 2026-11-14 📅 Создано 2016-10-21
10
tsale/EDR-Telemetry

Этот проект направлен на сравнение и оценку телеметрии различных EDR-продуктов.

tsale
⭐ 2,004 Python 👤 tsale User 🕐 Обновлено 2026-11-12 📅 Создано 2023-04-01
11
ServiceNow/AgentLab

AgentLab: Фреймворк с открытым исходным кодом для разработки, тестирования и бенчмаркинга веб-агентов на различных задачах, созданный для масштабируемости и воспроизводимости。

ServiceNow
⭐ 668 Python 👤 ServiceNow Organization 🕐 Обновлено 2026-10-06 📅 Создано 2024-05-21
12
lartpang/SAMs-CDConcepts-Eval

Вдохновляя следующее поколение моделей Segment Anything: Комплексная оценка SAM и SAM 2 с использованием разнообразных подсказок для контекстно-зависимых концепций в различных сценах

lartpang
⭐ 575 Python 👤 lartpang User 🕐 Обновлено 2026-08-30 📅 Создано 2024-11-26
13
relari-ai/continuous-eval

Оценка на основе данных для приложений на базе LLM

relari-ai
⭐ 519 Python 👤 relari-ai Organization 🕐 Обновлено 2026-08-10 📅 Создано 2023-12-08

Часто задаваемые вопросы

1

Какой репозиторий по теме #evaluation-framework наиболее популярен на GitHub?

Самый высоко оценённый проект с открытым исходным кодом по теме #evaluation-framework на GitHub — promptfoo/promptfoo, набравший 27,516 звёзд. Тестируйте свои промпты, агенты и RAG. Red teaming/пентестинг/сканирование уязвимостей для ИИ. Сравнивайте производительность GPT, Claude, Gemini, DeepSeek и других моделей. Простые декларативные конфигурации с поддержкой командной строки и интеграцией CI/CD. Используется компаниями OpenAI и Anthropic.

2

Какие языки программирования чаще всего используются в репозиториях по теме #evaluation-framework?

Среди наиболее высоко оценённых проектов по теме #evaluation-framework на GitHub чаще всего используются языки программирования Python, TypeScript, Jupyter Notebook.

3

Как рассчитывается рейтинг репозиториев по теме #evaluation-framework?

Мы отслеживаем 13 активных репозиториев с открытым исходным кодом, отмеченных тегом #evaluation-framework (500 и более звёзд), с общим числом 100,331 звёзд и в среднем 7,717 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.