#benchmark Repositórios
193 repositórios no total
Uma comparação objetiva de múltiplos frameworks que nos permitem "transformar" nossas aplicações web em aplicações desktop.
Uma caixa de ferramentas de aprendizado de máquina para análise de logs [ICSE'19, DSN'16]
O SkillsBench avalia o quão bem as habilidades funcionam e quão eficazes os agentes são ao utilizá-las.
Explorando práticas de codificação "Less Slow" em C++ 20, C, CUDA, PTX e Assembly, de numéricos e SIMD a corrotinas, ranges, tratamento de exceções, redes e IO em user-space
Profiler Rust para análise de desempenho de CPU, memória, SQL, HTTP e operações assíncronas, com suporte para Prometheus e Grafana.
Benchmarking Transferência de Conhecimento em Aprendizagem Robótica ao Longo da Vida
BEHAVIOR-1K: uma plataforma para acelerar a pesquisa em IA Incorporada. Junte-se ao nosso Discord para suporte: https://discord.gg/bccR5vGFEx
Funcionalidade de microbenchmarking simples, rápida e precisa de cabeçalho único para C++11/14/17/20
Um kit de ferramentas de aprendizado profundo para IA na área da saúde: prontuários eletrônicos (MIMIC, eICU, OMOP), textos clínicos, sinais e imagens. Mais de 30 modelos e pipelines reproduzíveis.
Uma coleção de ambientes de referência para aprendizado por reforço offline
A página oficial do GitHub para o artigo de revisão "A Survey on Evaluation of Large Language Models".
DomainBed é uma suíte para testar algoritmos de generalização de domínio
Avalie LLMs lutando em Street Fighter 3! A nova maneira de avaliar a qualidade de um LLM
Compilador rápido para Árvores de Expressão C# e a alternativa leve LightExpression. Ferramentas de diagnóstico e geração de código para as expressões.
[pip install medmnist] Conjuntos de Dados Padronizados 18x para Classificação de Imagens Biomédicas 2D e 3D
Framework modular de aprendizado por reforço profundo em PyTorch. Biblioteca complementar do livro "Foundations of Deep Reinforcement Learning".
KernelBench: Os LLMs Conseguem Escrever Kernels de GPU? - Benchmark + Toolkit com Torch -> CUDA (+ mais DSLs)
Benchmark de código aberto para agentes de IA do navegador em tarefas diárias.
GitHub Action para benchmark contínuo para manter o desempenho
Camada aberta de memória e confiabilidade para agentes de IA + avaliação/verificação independente (juiz NACRE, met benchmark caliber-bench, critérios pré-registrados) — da Nautilus Platform
Notas de leitura sobre Modelos de Linguagem Grandes Multimodais, Modelos de Linguagem Grandes e Modelos de Difusão
Um benchmark de evidências para decisões clínicas: extrair o único fato em que uma resposta se baseia e verificar se a ação do assistente acompanha as evidências. Desenvolvido com base no HealthBench.
JMLR: OmniSafe é uma estrutura de infraestrutura para acelerar a pesquisa em SafeRL.