#benchmark Репозитории
Всего репозиториев: 193
Объективное сравнение нескольких фреймворков, которые позволяют нам «преобразовывать» наши веб-приложения в настольные приложения.
SkillsBench оценивает, насколько хорошо работают навыки и насколько эффективно агенты их используют.
Эксперименты с практиками кодирования "Less Slow" в C++ 20, C, CUDA, PTX и Assembly, от численных методов и SIMD до корутин, диапазонов, обработки исключений, сетевых взаимодействий и пользовательского ввода-вывода
Профилировщик Rust для анализа производительности CPU, памяти, SQL, HTTP и асинхронных операций с поддержкой Prometheus и Grafana.
Сравнительный анализ передачи знаний в пожизненном робототехническом обучении
BEHAVIOR-1K: платформа для ускорения исследований в области воплощенного ИИ. Присоединяйтесь к нашему Discord для поддержки: https://discord.gg/bccR5vGFEx
Простая, быстрая, точная функциональность микро-бенчмаркинга с одним заголовочным файлом для C++11/14/17/20
Инструментарий глубокого обучения для ИИ в здравоохранении: электронные медицинские карты (MIMIC, eICU, OMOP), клинические тексты, сигналы и медицинские изображения. Более 30 моделей и воспроизводимые пайплайны.
Официальная страница GitHub для обзорной статьи "A Survey on Evaluation of Large Language Models".
DomainBed — это набор инструментов для тестирования алгоритмов обобщения доменов
Тестируйте LLM, сражаясь в Street Fighter 3! Новый способ оценить качество LLM
Быстрый компилятор для деревьев выражений C# и легкая альтернатива LightExpression. Инструменты диагностики и генерации кода для выражений.
[pip install medmnist] 18 стандартизированных наборов данных для 2D и 3D классификации биомедицинских изображений
Модульный фреймворк глубокого обучения с подкреплением в PyTorch. Сопутствующая библиотека книги "Foundations of Deep Reinforcement Learning".
KernelBench: Могут ли LLM писать GPU-ядра? - Бенчмарк + инструментарий с Torch -> CUDA (+ другие DSL)
GitHub Action для непрерывного бенчмаркинга для поддержания производительности
Открытый слой памяти и надежности для ИИ-агентов + независимая оценка/проверка (судья NACRE, метабенчмарк caliber-bench, заранее зарегистрированные критерии) — от Nautilus Platform
Заметки для чтения о мультимодальных больших языковых моделях, больших языковых моделях и диффузионных моделях
OpenSTL: Комплексный бенчмарк для пространственно-временного прогнозного обучения
Бенчмарк клинических решений и доказательности: выделить единственный факт, на котором основан ответ, и проверить, меняется ли действие ассистента в соответствии с доказательствами. Построен на базе HealthBench.
JMLR: OmniSafe — это инфраструктурная основа для ускорения исследований SafeRL.
lzbench — это бенчмарк в оперативной памяти для компрессоров с открытым исходным кодом