#evaluation Репозитории
Всего репозиториев: 89
Открытый слой памяти и надежности для ИИ-агентов + независимая оценка/проверка (судья NACRE, метабенчмарк caliber-bench, заранее зарегистрированные критерии) — от Nautilus Platform
Распределяйте и запускайте рабочие нагрузки ИИ на Kubernetes «волшебным» образом на Python, подобно PyTorch для инфраструктуры машинного обучения (ML).
Метрики производительности с высокой степенью достоверности для генеративных моделей в PyTorch
NCalc — это быстрая и легковесная библиотека для вычисления выражений для .NET, разработанная с учетом гибкости и высокой производительности. Она поддерживает широкий спектр математических и логических операций.
Бенчмарк клинических решений и доказательности: выделить единственный факт, на котором основан ответ, и проверить, меняется ли действие ассистента в соответствии с доказательствами. Построен на базе HealthBench.
Трассировочный CI/CD для ИИ-агентов: сбои в продакшене превращаются в регрессионные тесты, блокирующие PR. Автоматическое обнаружение и кластеризация, фиксация в герметичных тестовых случаях и воспроизведение в CI за $0.
OpenJudge: Единая платформа для комплексной оценки и вознаграждений за качество
Мощный фреймворк для сжатия моделей для LLM и LVLMs, адаптированный для GPU NVIDIA и NPU Huawei Ascend.
Генерируйте высококачественные синтетические данные, обучайте, измеряйте и оценивайте в рамках единого конвейера
API SemanticKITTI для визуализации набора данных, обработки данных и оценки результатов.
ClawProBench — это тестовая среда с приоритетом на живые тесты для оценки агентов LLM в рантайме OpenClaw с детерминированной оценкой и надежностью повторных испытаний.
Открытые оценки для физического ИИ. Запускайте любую LLM/VLA на любой роботизированной руке или гуманоиде и тестируйте на любом реальном или симулированном бенчмарке.
Web Codegen Scorer — это инструмент для оценки качества веб-кода, сгенерированного LLM.
[EMNLP 2024 & AAAI 2026] Мощный набор инструментов для сжатия больших моделей, включая LLM, VLM и модели генерации видео.
🦞 Официальный плагин для OpenClaw, который экспортирует трассировки агентов в Opik. Просматривайте и отслеживайте поведение агента, стоимость, токены, ошибки и многое другое.
Фреймворк для редтиминга и оценки ИИ-агентов, построенный на таксономии ASI01–ASI10, вдохновлённой OWASP
Бенчмаркинг фактической точности длинных текстов в больших языковых моделях. Исходный код нашей статьи «Long-form factuality in large language models».
Awesome-LLM-Eval: тщательно подобранный список инструментов, наборов данных/бенчмарков, демонстраций, таблиц лидеров, статей, документов и моделей, в основном для оценки LLM. Тщательно подобранный список инструментов, бенчмарков/данных, демонстраций, рейтингов и больших моделей, в основном ориентированный на оценку базовых больших моделей, с целью исследования технологических границ генеративного ИИ.
AutoPrompt: Автоматическое построение подсказок для маскированных языковых моделей.
Репозиторий ресурсов для машинного обучения в больших языковых моделях
Набор данных и эталон для RAG по внутренним документам компании.
[ICML 2024] TrustLLM: оценка надёжности LLM по критериям правдивости, безопасности, справедливости, устойчивости, конфиденциальности и этичности. Набор инструментов Python/CLI для локальных моделей, совместимых API и оркестрации ИИ-агентов.
TCExam — это система CBA (Computer-Based Assessment) (e-exam, CBT - Computer Based Testing) для университетов, школ и компаний, которая позволяет педагогам и тренерам создавать, планировать, проводить и отчитываться о опросах, викторинах, тестах и экзаменах.
Простой оценщик математических и псевдо-C# выражений в одном файле C#. Также может выполнять небольшие скрипты, похожие на C#
Простой безопасный изолированный расширяемый оценщик выражений для Python
XRAG: eXamining the Core — сравнительный анализ базовых компонентных модулей в расширенной генерации с дополнением извлечённой информацией
Этот репозиторий содержит код оценки для статьи «MMMU: Massive Multi-discipline Multimodal Understanding and Reasoning Benchmark for Expert AGI»
Это репозиторий инструментов для помощи в оценке различных методов сопоставления изображений по паре изображений.
Meta Agents Research Environments — это комплексная платформа, предназначенная для оценки ИИ-агентов в динамичных и реалистичных сценариях. В отличие от статических бенчмарков, эта платформа представляет собой развивающуюся среду, в которой агенты должны адаптировать свои стратегии по мере поступления новой информации, что отражает реальные жизненные задачи.
Официальный репозиторий GitHub статьи «Recent advances in large language model benchmarks against data contamination: From static to dynamic evaluation»