#llm-evaluation Репозитории
Всего репозиториев: 108
[JMLR 2026] UQLM: пакет Python для обнаружения галлюцинаций больших языковых моделей с помощью количественной оценки неопределённости
Подборка ноутбуков/рецептов, демонстрирующих варианты использования моделей с открытым исходным кодом с помощью Together AI.
Weave — это набор инструментов для разработки приложений на базе искусственного интеллекта, созданный Weights & Biases.
Бенчмарк клинических решений и доказательности: выделить единственный факт, на котором основан ответ, и проверить, меняется ли действие ассистента в соответствии с доказательствами. Построен на базе HealthBench.
Трассировочный CI/CD для ИИ-агентов: сбои в продакшене превращаются в регрессионные тесты, блокирующие PR. Автоматическое обнаружение и кластеризация, фиксация в герметичных тестовых случаях и воспроизведение в CI за $0.
AutoEvals — это инструмент для быстрой и легкой оценки выходных данных моделей ИИ с использованием лучших практик.
OrcaReplay — Путешествие во времени для ИИ-агентов. Записывайте, воспроизводите, создавайте ответвления и отлаживайте любые запуски агентов с любой моделью. Создано командой OrcaRouter.ai.
Стек непрерывного улучшения для агентов. Наши данные об окружающей среде и оценки способствуют улучшению и мониторингу агентов.
Курируемая библиотека лучших ресурсов для создания и оценки AI-агентов — статьи, блоги, выступления, инструменты, бенчмарки. Поддерживается BenchFlow.
FactCircuit: проверяемый аудитом цикл верификации утверждений и доказательств с неизменяемой информацией о происхождении, поэтапными проверками, ограниченным поиском и воспроизводимой оценкой.
[ICLR 2025 Oral] Spider 2.0: Оценка языковых моделей на реальных корпоративных рабочих процессах Text-to-SQL
CI/CD с нативной поддержкой трейсов для ИИ-агентов: оценивайте трейсы из production, группируйте сбои, превращайте их в воспроизводимые регрессионные тесты и блокируйте PR, вызывающие регрессии. Можно развернуть на собственных серверах.
Статьи организованы в соответствии с нашим обзором: Evaluating Large Language Models: A Comprehensive Survey.
GAOKAO-Bench — это платформа для оценки, которая использует вопросы GAOKAO в качестве набора данных для оценки больших языковых моделей.
Инфраструктура с открытым исходным кодом, превращающая разрозненные файлы SKILL.md в курируемые корпуса навыков агентов, готовые к поиску, включая инструменты поиска и оценки.
Awesome-LLM-Eval: тщательно подобранный список инструментов, наборов данных/бенчмарков, демонстраций, таблиц лидеров, статей, документов и моделей, в основном для оценки LLM. Тщательно подобранный список инструментов, бенчмарков/данных, демонстраций, рейтингов и больших моделей, в основном ориентированный на оценку базовых больших моделей, с целью исследования технологических границ генеративного ИИ.
Учебник на китайском языке по курсу Stanford CS329Z Engineering AI Agents: курс по ИИ-агентам для разработчиков Python, включающий 19 лекций и 4 практических проекта. Рассматриваются LLM, RAG, вызов инструментов, память, мультиагентные системы, оценка и безопасность. Полная версия в Markdown, а также HTML для работы онлайн и офлайн. Конспекты курса на китайском языке.
Потрясающие статьи, связанные с LLM в социальных науках.
Набор данных и эталон для RAG по внутренним документам компании.
[ICML 2024] TrustLLM: оценка надёжности LLM по критериям правдивости, безопасности, справедливости, устойчивости, конфиденциальности и этичности. Набор инструментов Python/CLI для локальных моделей, совместимых API и оркестрации ИИ-агентов.
Проект крупномасштабного обучения с подкреплением с открытым исходным кодом для поисковых агентов
MCP-Universe — это всесторонняя среда, предназначенная для обучения RL, бенчмаркинга и разработки ИИ-агентов для общего использования инструментов.
Официальный репозиторий статьи LLMs-as-Judges: Комплексный обзор методов оценки на основе LLM.
Шлюз MCP и MCP-серверы с OAuth. Агент LangGraph: память, оценка и отслеживание, защита персональных данных (PII), сокращение контекста. Быстрый запуск корпоративных агентов с помощью Docker.
ИИ-агент для исследования акций с отказоустойчивыми рабочими процессами, RAG на основе доказательств, версионируемыми отчётами и автоматизированной оценкой качества.
Это репозиторий HaluEval, крупномасштабный эталон для оценки галлюцинаций для больших языковых моделей.