#benchmark Репозитории
Всего репозиториев: 193
BenchMARL — это библиотека для тестирования многоагентного обучения с подкреплением (MARL). BenchMARL позволяет быстро сравнивать различные алгоритмы, задачи и модели MARL, оставаясь при этом систематически основанным на двух основных принципах: воспроизводимости и стандартизации.
AgentLab: Фреймворк с открытым исходным кодом для разработки, тестирования и бенчмаркинга веб-агентов на различных задачах, созданный для масштабируемости и воспроизводимости。
Крошечная (130–205 Б) и быстрая утилита для генерации случайных идентификаторов фиксированной длины
A.S.E (AICGSecEval) — это бенчмарк для оценки безопасности кода, генерируемого ИИ, на уровне репозитория, разработанный командой Tencent Wukong Code Security Team.
Awesome-LLM-Eval: тщательно подобранный список инструментов, наборов данных/бенчмарков, демонстраций, таблиц лидеров, статей, документов и моделей, в основном для оценки LLM. Тщательно подобранный список инструментов, бенчмарков/данных, демонстраций, рейтингов и больших моделей, в основном ориентированный на оценку базовых больших моделей, с целью исследования технологических границ генеративного ИИ.
Репозиторий довольно крутых наборов данных, которые я собрал для исследований в области сетевой науки и машинного обучения.
CAIRI Toolbox и Benchmark для обучения визуальным представлениям с учителем, частичным обучением и самообучением
Набор данных и эталон для RAG по внутренним документам компании.
[ICML 2024] TrustLLM: оценка надёжности LLM по критериям правдивости, безопасности, справедливости, устойчивости, конфиденциальности и этичности. Набор инструментов Python/CLI для локальных моделей, совместимых API и оркестрации ИИ-агентов.
Первый обширный эталон обработки естественного языка для индонезийского языка. Мы предоставляем несколько последующих задач, предварительно обученные модели IndoBERT и стартовый код! (AACL-IJCNLP 2020)
Глобальная сеть проб для выполнения сетевых тестов, таких как ping, traceroute и разрешение DNS
Benchmarkfederated Learning — Federated Learning на не-IID Data Silos: экспериментальное исследование (ICDE 2022)
JailbreakBench: Открытый бенчмарк устойчивости для взлома языковых моделей [Трек датасетов и бенчмарков NeurIPS 2024]
Могут ли ИИ-агенты воссоздавать веб-сайты, исследуя их с помощью браузера?
Современная альтернатива iperf3 с интерактивным TUI, поддержкой нескольких клиентов и протоколом QUIC. Написано на Rust.
Aixio Layer v2 восстанавливает редактируемые слои из сведённых дизайнов, когда это возможно. Сравнительный тест на 150 дизайнах с Canva Magic Layers, Qwen-Image-Layer и GPT-6 Astra Ultra.
Meta Agents Research Environments — это комплексная платформа, предназначенная для оценки ИИ-агентов в динамичных и реалистичных сценариях. В отличие от статических бенчмарков, эта платформа представляет собой развивающуюся среду, в которой агенты должны адаптировать свои стратегии по мере поступления новой информации, что отражает реальные жизненные задачи.
Более современный бенчмаркер HTTP-фреймворков с поддержкой бенчмарков HTTP/1 и HTTP/2.
Библиотека сериализации, написанная на C++17 - Упаковывайте структуры C++ в компактный массив байтов без каких-либо макросов или шаблонного кода
Наивное сравнение производительности нескольких языков программирования (JavaScript, Kotlin, Rust, Swift, Nim, Python, Go, Haskell, D, C++, Java, C#, Object Pascal, Ada, Lua, Ruby)
SpeechIO Leaderboard: большая, надежная, комплексная платформа для бенчмаркинга автоматического распознавания речи.
Фреймворк для бенчмаркинга производительности и тестирования приложений .NET :chart_with_upwards_trend:
Пиковая вычислительная производительность, пропускная способность памяти и задержка CPU, GPU и NPU: одни и те же тесты через каждый API, обеспечивающий доступ к устройству. Командная строка и приложение для Windows, macOS, Linux и Android
Официальный репозиторий GraphRAG-Bench для оценки моделей GraphRAG. «Когда использовать графы в RAG: комплексный анализ генерации с дополнением на основе поиска по графам». (ICLR'26)
LongCite: Предоставление LLM возможности генерировать детальные цитаты в вопросно-ответных системах с длинным контекстом
Текущее состояние методов контролируемого и неконтролируемого дополнения глубины
Перерасход токенов? Срочно звоните Смиту! Better Call Smith. Адаптивная маршрутизация моделей, изящный монитор использования Codex и воспроизводимые бенчмарки с подтверждающими данными.
Официальный репозиторий GitHub статьи «Recent advances in large language model benchmarks against data contamination: From static to dynamic evaluation»