Git Stars Git Stars

#llm-evaluation Репозитории

Откройте для себя 108 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #llm-evaluation, с общим числом 444,825 звёзд (в среднем 4,118 на проект). Лидером этой темы является ifixai-ai/iFixAi, набравший 46,592 звёзд.

108
Всего репозиториев
444,825
Всего звезд
4,118
Среднее количество звезд на репозиторий
Языки программирования: Python Jupyter Notebook TypeScript Java Rust

Всего репозиториев: 108

1
ifixai-ai/iFixAi

Независимый аудит ИИ-агентов. Проводится человеком или самим агентом, чтобы ответить на самый важный вопрос в экономике ИИ-агентов: выполняет ли агент то, что должен? С iFixAi вы получите ответ менее чем за 120 секунд.

ifixai-ai
⭐ 46,592 Python 👤 ifixai-ai Organization 🕐 Обновлено 2026-11-20 📅 Создано 2026-04-27
2
langfuse/langfuse

🪢 Открытая платформа для разработки ИИ: AI Gateway, наблюдаемость агентов, оценка и управление промптами и навыками на базе OpenTelemetry. Единая открытая платформа для каждого вызова ИИ и каждого агента. Разверните её самостоятельно или используйте Langfuse Cloud.

langfuse
⭐ 37,696 TypeScript 👤 langfuse Organization 🕐 Обновлено 2026-11-21 📅 Создано 2023-05-18
3
mlflow/mlflow

Открытая платформа для инженерной разработки ИИ для агентов, LLM и моделей ML. MLflow позволяет командам любого размера отлаживать, оценивать, мониторить и оптимизировать приложения ИИ производственного качества, контролируя затраты и управляя доступом к моделям и данным.

mlflow
⭐ 28,920 Python 👤 mlflow Organization 🕐 Обновлено 2026-11-21 📅 Создано 2018-06-05
4
promptfoo/promptfoo

Тестируйте свои промпты, агенты и RAG. Red teaming/пентестинг/сканирование уязвимостей для ИИ. Сравнивайте производительность GPT, Claude, Gemini, DeepSeek и других моделей. Простые декларативные конфигурации с поддержкой командной строки и интеграцией CI/CD. Используется компаниями OpenAI и Anthropic.

promptfoo
⭐ 27,516 TypeScript 👤 promptfoo Organization 🕐 Обновлено 2026-11-21 📅 Создано 2023-04-28
5
huggingface/open-r1

Полная открытая репродукция DeepSeek-R1

huggingface
⭐ 26,483 Python 👤 huggingface Organization 🕐 Обновлено 2026-10-26 📅 Создано 2025-01-24
6
comet-ml/opik

Отлаживайте, оценивайте и отслеживайте ваши LLM-приложения, RAG-системы и агентские рабочие процессы с помощью комплексного отслеживания, автоматизированных оценок и готовых к производству панелей мониторинга.

comet-ml
⭐ 23,479 Java 👤 comet-ml Organization 🕐 Обновлено 2026-11-21 📅 Создано 2023-05-10
7
openai/evals

Evals — это фреймворк для оценки LLM и LLM-систем, а также реестр бенчмарков с открытым исходным кодом.

openai
⭐ 19,776 Python 👤 openai Organization 🕐 Обновлено 2026-04-14 📅 Создано 2023-01-23
8
confident-ai/deepeval

Фреймворк оценки LLM

confident-ai
⭐ 19,585 Python 👤 confident-ai Organization 🕐 Обновлено 2026-11-19 📅 Создано 2023-08-10
9
Arize-ai/phoenix

Наблюдаемость и оценка ИИ

Arize-ai
⭐ 12,368 Python 👤 Arize-ai Organization 🕐 Обновлено 2026-11-21 📅 Создано 2022-11-09
10
NVIDIA/garak

сканер уязвимостей LLM

NVIDIA
⭐ 10,122 Python 👤 NVIDIA Organization 🕐 Обновлено 2026-11-18 📅 Создано 2023-05-10
11
oumi-ai/oumi

Легко дообучайте (SFT/RL), оценивайте и развёртывайте Qwen, Gemma или любую открытую агентную LLM/VLM!

oumi-ai
⭐ 9,441 Python 👤 oumi-ai Organization 🕐 Обновлено 2026-11-21 📅 Создано 2024-05-07
12
HKUDS/ClawWork

"ClawWork: OpenClaw как ваш ИИ-коллега - 💰 $15K заработано за 11 часов"

HKUDS
⭐ 8,574 Python 👤 HKUDS Organization 🕐 Обновлено 2026-03-03 📅 Создано 2026-02-15
13
Tencent/AI-Infra-Guard

Полноценная платформа для AI Red Teaming, обеспечивающая безопасность экосистем ИИ с помощью Agent Scan, Skills Scan, MCP Scan, AI Infra Scan и оценки взлома ограничений LLM.

Tencent
⭐ 7,604 Python 👤 Tencent Organization 🕐 Обновлено 2026-11-20 📅 Создано 2024-12-25
14
gepa-ai/gepa

Оптимизируйте подсказки, код и многое другое с помощью рефлексивной оптимизации на базе ИИ

gepa-ai
⭐ 7,523 Jupyter Notebook 👤 gepa-ai Organization 🕐 Обновлено 2026-11-21 📅 Создано 2025-08-05
15
gkamradt/langchain-tutorials

Обзор и руководство по библиотеке LangChain

gkamradt
⭐ 7,350 Jupyter Notebook 👤 gkamradt User 🕐 Обновлено 2024-08-05 📅 Создано 2023-02-13
16
simplescaling/s1

s1: Простое масштабирование во время выполнения

simplescaling
⭐ 6,656 Python 👤 simplescaling Organization 🕐 Обновлено 2025-06-25 📅 Создано 2025-02-01
17
jeinlee1991/chinese-llm-benchmark

NoneLinear - Оценка ReLE: Оценка возможностей китайских больших моделей ИИ (постоянное обновление): В настоящее время включает 374 модели, охватывая коммерческие модели, такие как ChatGPT, GPT-5.4, Google Gemini-3.1-pro, Claude-4.6, Ernie-X1.1, Ernie-5.0, Qwen3.6-max, Qwen3.6-plus, Baichuan, iFlytek Spark, SenseChat, а также модели с открытым исходным кодом, такие как Step3.5-flash, Kimi-k2.6, Ernie4.5, MiniMax-M2.7, DeepSeek-v4, Qwen3.6, Llama4, Zhipu GLM-5.1, MiMo-V2, LongCat, Gemma4, Mistral и другие. Предоставляет не только рейтинг, но и базу данных дефектов моделей, содержащую более 2 миллионов записей, что облегчает сообществу исследования, анализ и улучшение больших моделей.

jeinlee1991
⭐ 6,522 👤 jeinlee1991 User 🕐 Обновлено 2026-11-20 📅 Создано 2023-06-04
18
Q00/ouroboros

Agent OS: агент становится умнее самостоятельно. Мы лишь удерживаем курс: отбор через собеседование, поэтапная оценка и цикл развития с заданным бюджетом. MCP-сервер, 14 сред выполнения: Claude Code, Codex CLI, Gemini CLI, OpenCode, Copilot, Kiro и другие.

Q00
⭐ 6,385 Python 👤 Q00 User 🕐 Обновлено 2026-11-21 📅 Создано 2026-01-14
19
Helicone/helicone

🧊 Платформа наблюдаемости LLM с открытым исходным кодом. Одна строка кода для мониторинга, оценки и экспериментов. YC W23 🍓

Helicone
⭐ 6,292 TypeScript 👤 Helicone Organization 🕐 Обновлено 2026-11-17 📅 Создано 2023-01-31
20
Giskard-AI/giskard-oss

🐢 Библиотека с открытым исходным кодом для оценки и тестирования LLM-агентов

Giskard-AI
⭐ 5,965 Python 👤 Giskard-AI Organization 🕐 Обновлено 2026-11-20 📅 Создано 2022-03-06
21
PacktPublishing/LLM-Engineers-Handbook

Практическое руководство по LLM: от основ до развертывания расширенных приложений LLM и RAG на AWS с использованием лучших практик LLMOps

PacktPublishing
⭐ 5,438 Python 👤 PacktPublishing Organization 🕐 Обновлено 2026-04-22 📅 Создано 2024-04-09
22
going-doer/Paper2Code

Paper2Code: Автоматизация генерации кода из научных статей по машинному обучению

going-doer
⭐ 5,044 Python 👤 going-doer User 🕐 Обновлено 2026-03-25 📅 Создано 2025-04-25
23
EvolvingLMMs-Lab/lmms-eval

Универсальный мультимодальный набор для оценки задач по тексту, изображениям, видео и аудио

EvolvingLMMs-Lab
⭐ 4,501 Python 👤 EvolvingLMMs-Lab Organization 🕐 Обновлено 2026-11-20 📅 Создано 2024-03-07
24
hemansnation/AI-Engineer-Headquarters

Коллекция научных методов, процессов, алгоритмов и систем для создания историй и моделей.

hemansnation
⭐ 3,782 Jupyter Notebook 👤 hemansnation User 🕐 Обновлено 2026-10-28 📅 Создано 2022-03-29
25
truera/trulens

Оценка и отслеживание экспериментов LLM и ИИ-агентов

truera
⭐ 3,665 Python 👤 truera Organization 🕐 Обновлено 2026-11-20 📅 Создано 2020-11-02
26
lmnr-ai/lmnr

Laminar — платформа с открытым исходным кодом для обеспечения наблюдаемости, специально созданная для ИИ-агентов. YC S24.

lmnr-ai
⭐ 3,516 TypeScript 👤 lmnr-ai Organization 🕐 Обновлено 2026-11-20 📅 Создано 2024-08-29
27
openai/human-eval

Код для статьи «Evaluating Large Language Models Trained on Code»

openai
⭐ 3,431 Python 👤 openai Organization 🕐 Обновлено 2026-10-16 📅 Создано 2021-07-06
28
Sumanth077/ai-engineering-toolkit

Курируемый список из более чем 100 библиотек и фреймворков для инженеров по искусственному интеллекту, создающих с помощью LLM

Sumanth077
⭐ 3,402 👤 Sumanth077 User 🕐 Обновлено 2026-05-11 📅 Создано 2025-08-06
29
UKGovernmentBEIS/inspect_ai

Inspect: Фреймворк для оценки больших языковых моделей

UKGovernmentBEIS
⭐ 3,302 Python 👤 UKGovernmentBEIS Organization 🕐 Обновлено 2026-11-20 📅 Создано 2023-11-14
30
FranxYao/chain-of-thought-hub

Бенчмаркинг сложных способностей к рассуждению больших языковых моделей с помощью цепочки рассуждений

FranxYao
⭐ 2,762 Jupyter Notebook 👤 FranxYao User 🕐 Обновлено 2024-08-04 📅 Создано 2023-03-10
31
genieincodebottle/generative-ai

Исчерпывающие ресурсы по генеративному ИИ, включая подробную дорожную карту, проекты, примеры использования, подготовку к собеседованию и подготовку к программированию.

genieincodebottle
⭐ 2,675 Jupyter Notebook 👤 genieincodebottle User 🕐 Обновлено 2026-11-09 📅 Создано 2024-01-09
32
gkamradt/needle-in-a-haystack

Выполнение простого извлечения данных из моделей LLM при различных длинах контекста для измерения точности

gkamradt
⭐ 2,408 Jupyter Notebook 👤 gkamradt User 🕐 Обновлено 2026-06-08 📅 Создано 2023-11-11
33
future-agi/future-agi

Открытая платформа полного цикла для оценки, наблюдения и улучшения приложений LLM и ИИ-агентов. Tracing · Evals · Simulations · Datasets · Gateway · Guardrails. Самостоятельный хостинг. Apache 2.0.

future-agi
⭐ 2,284 Python 👤 future-agi Organization 🕐 Обновлено 2026-11-21 📅 Создано 2026-04-23
34
break-into-data/ai-engineer-toolkit

Проекты и ресурсы, которые помогут вам стать лучшим разработчиком ИИ.

break-into-data
⭐ 2,189 TypeScript 👤 break-into-data Organization 🕐 Обновлено 2025-09-15 📅 Создано 2025-02-24
36
msoedov/agentic_security

Сканер уязвимостей Agentic LLM / Набор для Red Teaming с ИИ 🧪

msoedov
⭐ 2,048 Python 👤 msoedov User 🕐 Обновлено 2026-11-19 📅 Создано 2024-04-11
37
ai-that-works/ai-that-works

🦄 ИИ, который работает - каждое воскресенье в 10:00 по тихоокеанскому стандартному времени

ai-that-works
⭐ 2,016 TypeScript 👤 ai-that-works Organization 🕐 Обновлено 2026-11-19 📅 Создано 2025-04-02
39
centerforaisafety/hle

Последний экзамен человечества

centerforaisafety
⭐ 1,749 Python 👤 centerforaisafety Organization 🕐 Обновлено 2026-09-23 📅 Создано 2025-01-23
41
lizhe2004/Awesome-LLM-RAG-Application

ресурсы о приложении на основе LLM с использованием шаблона RAG

lizhe2004
⭐ 1,662 👤 lizhe2004 User 🕐 Обновлено 2026-10-12 📅 Создано 2023-12-27
42
huggingface/aisheets

Создавайте, обогащайте и трансформируйте наборы данных с помощью моделей ИИ без кода

huggingface
⭐ 1,656 TypeScript 👤 huggingface Organization 🕐 Обновлено 2026-09-23 📅 Создано 2025-01-16
43
cyberark/FuzzyAI

Мощный инструмент для автоматизированного фаззинга LLM. Он разработан, чтобы помочь разработчикам и исследователям безопасности выявлять и смягчать потенциальные обходы защиты (jailbreaks) в их LLM API.

cyberark
⭐ 1,611 Jupyter Notebook 👤 cyberark Organization 🕐 Обновлено 2026-02-06 📅 Создано 2024-12-03
44
sierra-research/tau-bench

Код и данные для Tau-Bench

sierra-research
⭐ 1,514 Python 👤 sierra-research Organization 🕐 Обновлено 2026-03-18 📅 Создано 2024-06-06
45
safety-research/bloom

bloom - немедленно оценивайте любое поведение 🌸🌱

safety-research
⭐ 1,429 Python 👤 safety-research Organization 🕐 Обновлено 2026-05-07 📅 Создано 2025-06-24
47
meridianlabs-ai/inspect_petri

Агент аудита выравнивания, способный быстро исследовать гипотезы выравнивания

meridianlabs-ai
⭐ 1,421 Python 👤 meridianlabs-ai Organization 🕐 Обновлено 2026-11-20 📅 Создано 2025-08-19
48
TIGER-AI-Lab/ClawBench

Открытый бенчмарк для ИИ-агентов браузера в повседневных задачах.

TIGER-AI-Lab
⭐ 1,325 Python 👤 TIGER-AI-Lab Organization 🕐 Обновлено 2026-11-05 📅 Создано 2026-04-10
49
microsoft/prompty

Prompty упрощает создание, управление, отладку и оценку LLM-подсказок для ваших ИИ-приложений. Prompty — это класс активов и формат для LLM-подсказок, разработанный для улучшения наблюдаемости, понятности и переносимости для разработчиков.

microsoft
⭐ 1,288 Rust 👤 microsoft Organization 🕐 Обновлено 2026-11-09 📅 Создано 2024-04-22
50
langchain-ai/openevals

Готовые средства оценки для ваших LLM-приложений

langchain-ai
⭐ 1,259 Python 👤 langchain-ai Organization 🕐 Обновлено 2026-11-18 📅 Создано 2025-02-08

Часто задаваемые вопросы

1

Какой репозиторий по теме #llm-evaluation наиболее популярен на GitHub?

Самый высоко оценённый проект с открытым исходным кодом по теме #llm-evaluation на GitHub — ifixai-ai/iFixAi, набравший 46,592 звёзд. Независимый аудит ИИ-агентов. Проводится человеком или самим агентом, чтобы ответить на самый важный вопрос в экономике ИИ-агентов: выполняет ли агент то, что должен? С iFixAi вы получите ответ менее чем за 120 секунд.

2

Какие языки программирования чаще всего используются в репозиториях по теме #llm-evaluation?

Среди наиболее высоко оценённых проектов по теме #llm-evaluation на GitHub чаще всего используются языки программирования Python, Jupyter Notebook, TypeScript, Java.

3

Как рассчитывается рейтинг репозиториев по теме #llm-evaluation?

Мы отслеживаем 108 активных репозиториев с открытым исходным кодом, отмеченных тегом #llm-evaluation (500 и более звёзд), с общим числом 444,825 звёзд и в среднем 4,118 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.