#evaluation Репозитории
Откройте для себя 89 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #evaluation, с общим числом 369,872 звёзд (в среднем 4,155 на проект). Лидером этой темы является lm-sys/FastChat, набравший 39,550 звёзд.
Всего репозиториев: 89
Открытая платформа для обучения, развертывания и оценки больших языковых моделей. Репозиторий для Vicuna и Chatbot Arena.
Открытая платформа знаний LLM: превращает необработанные документы в запрашиваемый RAG, автономного агента рассуждений и самообновляемую Вики.
🪢 Открытая платформа для разработки ИИ: AI Gateway, наблюдаемость агентов, оценка и управление промптами и навыками на базе OpenTelemetry. Единая открытая платформа для каждого вызова ИИ и каждого агента. Разверните её самостоятельно или используйте Langfuse Cloud.
Открытая платформа для инженерной разработки ИИ для агентов, LLM и моделей ML. MLflow позволяет командам любого размера отлаживать, оценивать, мониторить и оптимизировать приложения ИИ производственного качества, контролируя затраты и управляя доступом к моделям и данным.
Тестируйте свои промпты, агенты и RAG. Red teaming/пентестинг/сканирование уязвимостей для ИИ. Сравнивайте производительность GPT, Claude, Gemini, DeepSeek и других моделей. Простые декларативные конфигурации с поддержкой командной строки и интеграцией CI/CD. Используется компаниями OpenAI и Anthropic.
Отлаживайте, оценивайте и отслеживайте ваши LLM-приложения, RAG-системы и агентские рабочие процессы с помощью комплексного отслеживания, автоматизированных оценок и готовых к производству панелей мониторинга.
OpenCompass — это платформа для оценки больших языковых моделей (LLM), поддерживающая широкий спектр моделей от OpenAI, Anthropic, Gemini, Qwen, GLM, DeepSeek и других компаний, а также более 100 наборов данных по знаниям, рассуждению, программированию, науке, языку, длинному контексту и безопасности.
达尔文.skill —— Система, которая бесконечно эволюционирует ваши Skill: оценка→улучшение→тест→сохранение или откат | Автономная оптимизация навыков, вдохновленная Autoresearch для Claude Code. Оценивать, улучшать, тестировать, сохранять или откатывать.
🧊 Платформа наблюдаемости LLM с открытым исходным кодом. Одна строка кода для мониторинга, оценки и экспериментов. YC W23 🍓
Платформа оптимизации ИИ-агентов нового поколения: Cozeloop решает проблемы разработки ИИ-агентов, предоставляя возможности управления полным жизненным циклом от разработки, отладки и оценки до мониторинга.
Создание, оценка и оптимизация систем ИИ. Включает оценки (evals), RAG, агентов, тонкую настройку (fine-tuning), генерацию синтетических данных, управление наборами данных, MCP и многое другое.
Наблюдаемость и оценка агентов с открытым исходным кодом для команд AI-платформ. Отслеживайте, тестируйте, маршрутизируйте и управляйте каждым агентом и помощником в написании кода в компании.
Универсальный мультимодальный набор для оценки задач по тексту, изображениям, видео и аудио
Набор инструментов для оценки больших мультимодальных моделей (LMM) с открытым исходным кодом, поддержка 220+ LMM, 80+ бенчмарков
Многоуровневая платформа для оценки навыков и плагинов ИИ-агентов: контроль качества, сканирование безопасности, проверка совместимости с тестовой средой, обнаружение семантических пересечений, генерация синтетических наборов данных для оценки и оценка агентов в реальном времени, измеряющая влияние навыков на поведение агента. Включает повторно используемые шаблоны CI, позволяющие внедрить все проверки в любой репозиторий.
Оптимизированная и настраиваемая структура для эффективной оценки и тестирования производительности больших моделей (LLM, VLM, AIGC).
Laminar — платформа с открытым исходным кодом для обеспечения наблюдаемости, специально созданная для ИИ-агентов. YC S24.
SuperCLUE: Комплексный бенчмарк для универсальных больших моделей на китайском языке | Бенчмарк для базовых моделей на китайском языке
Klipse — это плагин JavaScript для встраивания интерактивных фрагментов кода в технические блоги.
Открытая визуальная среда программирования для боевого тестирования подсказок для LLM.
YAO = Получение результатов ИИ. Строгая система инженерии, оценки, управления и переносимости для многократно используемых навыков агентов.
Lighteval — это ваш универсальный набор инструментов для оценки LLM на различных бэкэндах
🤗 Evaluate: Библиотека для легкой оценки моделей и наборов данных машинного обучения.
Сборка RAG: Ручная сборка и слияние GraphRAG, LightRAG и Neo4j-llm-graph-builder для построения и поиска графа знаний; интеграция технологии DeepSearch для логического вывода RAG в частной области; самостоятельное создание фреймворка оценки для GraphRAG.
UpTrain — это унифицированная платформа с открытым исходным кодом для оценки и улучшения генеративных ИИ-приложений. Мы предоставляем оценки по более чем 20 предварительно настроенным проверкам (охватывающим случаи использования языка, кода, встраивания), выполняем анализ первопричин сбоев и даем рекомендации по их устранению.
Платформа для тестирования и оценки, позволяющая общаться, проверять и отлаживать серверы MCP, приложения MCP и приложения ChatGPT.
Рабочий процесс Fable: как работал Claude Fable 5, дистиллированный в навыки, которые может выполнять любая модель, с оценкой, которая сохраняет его честность. Думайте / действуйте / доказывайте.
📰 Обязательные к прочтению статьи и блоги по моделированию длинного контекста на основе LLM 🔥
Обмен как практическими идеями, так и теоретическими знаниями об оценке LLM, которые мы собрали при управлении Open LLM Leaderboard и разработке lighteval!
Avalanche: сквозная библиотека для непрерывного обучения на основе PyTorch.
:cloud: :rocket: :bar_chart: :chart_with_upwards_trend: Оценка передовых достижений в области ИИ
Автоматический оценщик для языковых моделей, следующих инструкциям. Проверено человеком, высокое качество, дешево и быстро.
Go-фреймворк для создания промышленных агентных систем с поддержкой графовых рабочих процессов, инструментов, памяти, A2A, AG-UI, MCP, оценки и наблюдаемости.
(IROS 2020, ECCVW 2020) Официальная реализация на Python для «3D Multi-Object Tracking: A Baseline and New Evaluation Metrics»
WFGY движется к WFGY 5.0 Polaris Protocol, крупному релизу с открытым исходным кодом для ИИ-рассуждений, RAG, агентов и рабочих процессов в реальном мире. Включает Problem Map, Global Debug Card, WFGY 4.0 и пасхальное яйцо CFV.
Модели для психического здоровья (LLM x Mental Health), Предобучение и дообучение & Набор данных & Оценка & Развертывание & RAG, с моделями серий InternLM / Qwen / Baichuan / DeepSeek / Mixtral / LLama / GLM
Официальная страница GitHub для обзорной статьи "A Survey on Evaluation of Large Language Models".
Код оценки для различных неконтролируемых автоматических метрик для генерации естественного языка.
KernelBench: Могут ли LLM писать GPU-ядра? - Бенчмарк + инструментарий с Torch -> CUDA (+ другие DSL)
Фреймворк для комплексной диагностики и оптимизации агентов с использованием смоделированных, реалистичных синтетических взаимодействий
Часто задаваемые вопросы
Какой репозиторий по теме #evaluation наиболее популярен на GitHub?
Самый высоко оценённый проект с открытым исходным кодом по теме #evaluation на GitHub — lm-sys/FastChat, набравший 39,550 звёзд. Открытая платформа для обучения, развертывания и оценки больших языковых моделей. Репозиторий для Vicuna и Chatbot Arena.
Какие языки программирования чаще всего используются в репозиториях по теме #evaluation?
Среди наиболее высоко оценённых проектов по теме #evaluation на GitHub чаще всего используются языки программирования Python, TypeScript, Jupyter Notebook, Go.
Как рассчитывается рейтинг репозиториев по теме #evaluation?
Мы отслеживаем 89 активных репозиториев с открытым исходным кодом, отмеченных тегом #evaluation (500 и более звёзд), с общим числом 369,872 звёзд и в среднем 4,155 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.