#benchmark Repositórios
193 repositórios no total
BenchMARL é uma biblioteca para benchmarking de Multi-Agent Reinforcement Learning (MARL). BenchMARL permite comparar rapidamente diferentes algoritmos, tarefas e modelos MARL, ao mesmo tempo que se baseia sistematicamente em seus dois princípios fundamentais: reprodutibilidade e padronização.
AgentLab: Um framework de código aberto para desenvolver, testar e avaliar agentes web em diversas tarefas, projetado para escalabilidade e reprodutibilidade.
Uma pequena (130B a 205B) e rápida utilidade para gerar IDs aleatórios de comprimento fixo
A.S.E (AICGSecEval) é um benchmark de avaliação de segurança de código gerado por IA em nível de repositório, desenvolvido pela equipe de segurança de código Tencent Wukong.
Awesome-LLM-Eval: uma lista selecionada de ferramentas, conjuntos de dados/benchmarks, demonstrações, placares, artigos, documentos e modelos, principalmente para Avaliação em LLMs. Uma lista selecionada de ferramentas, benchmarks/dados, demonstrações, placares e grandes modelos, voltada principalmente para a avaliação de LLMs fundamentais, com o objetivo de explorar os limites técnicos da IA generativa.
Um repositório de conjuntos de dados bem interessantes que coletei para pesquisas em ciência de redes e aprendizado de máquina.
CAIRI Toolbox e Benchmark para Aprendizagem de Representação Visual Supervisionada, Semi-supervisionada e Auto-supervisionada
Conjunto de dados e benchmark para RAG em documentos internos da empresa.
[ICML 2024] TrustLLM: avaliação da confiabilidade de LLMs em termos de veracidade, segurança, equidade, robustez, privacidade e ética. Kit de ferramentas Python/CLI para modelos locais, APIs compatíveis e orquestração de agentes de IA.
O primeiro e vasto benchmark de processamento de linguagem natural para a língua indonésia. Fornecemos várias tarefas downstream, modelos IndoBERT pré-treinados e um código inicial! (AACL-IJCNLP 2020)
Uma rede global de sondas para executar testes de rede como ping, traceroute e resolução DNS
Benchmark de Aprendizagem Federada - Aprendizagem Federada em Silos de Dados Não-IID: Um Estudo Experimental (ICDE 2022)
Um Ponto de Referência para Classificação de Texto em PyTorch
JailbreakBench: Um Benchmark de Robustez Aberto para Jailbreaking de Modelos de Linguagem [NeurIPS 2024 Datasets and Benchmarks Track]
Uma alternativa moderna ao iperf3 com TUI ao vivo, servidor multi-cliente e suporte a QUIC. Construído em Rust.
O Aixio Layer v2 recupera camadas editáveis de designs achatados quando possível. Benchmark com 150 designs em comparação com Canva Magic Layers, Qwen-Image-Layer e GPT-6 Astra Ultra.
O Meta Agents Research Environments é uma plataforma abrangente projetada para avaliar agentes de IA em cenários dinâmicos e realistas. Ao contrário de benchmarks estáticos, esta plataforma introduz ambientes em evolução onde os agentes devem adaptar suas estratégias à medida que novas informações se tornam disponíveis, espelhando desafios do mundo real.
Um benchmark de framework http mais moderno que suporta benchmarks HTTP/1 e HTTP/2.
Biblioteca de serialização escrita em C++17 - Compacte structs C++ em um array de bytes conciso sem quaisquer macros ou código repetitivo
Comparação ingênua de desempenho de algumas linguagens de programação (JavaScript, Kotlin, Rust, Swift, Nim, Python, Go, Haskell, D, C++, Java, C#, Object Pascal, Ada, Lua, Ruby)
SpeechIO Leaderboard: uma plataforma de benchmarking grande, robusta e abrangente para o Reconhecimento Automático de Fala.
Framework de benchmarking e teste de desempenho para aplicações .NET :chart_with_upwards_trend:
Poder computacional máximo, largura de banda da memória e latência de CPUs, GPUs e NPUs: os mesmos testes por meio de todas as APIs que acessam um dispositivo. Linha de comando e aplicativo para Windows, macOS, Linux e Android
Benchmark JavaScript para cargas de trabalho comuns de desenvolvedores web
O repositório oficial do GraphRAG-Bench para avaliar modelos GraphRAG. «Quando usar grafos em RAG: uma análise abrangente da geração aumentada por recuperação em grafos». (ICLR'26)
LongCite: Habilitando LLMs a Gerar Citações de Granularidade Fina em QA de Contexto Longo
[ICLR'25] BigCodeBench: Benchmarking de geração de código em direção à AGI
Estado atual dos métodos de completamento de profundidade supervisionados e não supervisionados
Excesso de tokens? Ligue já para Smith! Better Call Smith. Roteamento adaptativo de modelos, um elegante monitor de uso do Codex e benchmarks reproduzíveis com comprovantes.
O repositório oficial do GitHub do paper "Recent advances in large language model benchmarks against data contamination: From static to dynamic evaluation"