#evaluation Repositórios
89 repositórios no total
Camada aberta de memória e confiabilidade para agentes de IA + avaliação/verificação independente (juiz NACRE, met benchmark caliber-bench, critérios pré-registrados) — da Nautilus Platform
Distribua e execute cargas de trabalho de IA no Kubernetes de forma mágica em Python, como o PyTorch para infraestrutura de ML.
Métricas de desempenho de alta fidelidade para modelos generativos no PyTorch
NCalc é uma biblioteca de avaliação de expressões rápida e leve para .NET, projetada para flexibilidade e alto desempenho. Ela suporta uma ampla gama de operações matemáticas e lógicas.
Um benchmark de evidências para decisões clínicas: extrair o único fato em que uma resposta se baseia e verificar se a ação do assistente acompanha as evidências. Desenvolvido com base no HealthBench.
CI/CD nativo de traces para agentes de IA — falhas em produção tornam-se testes de regressão que bloqueiam o PR. Detecção e agrupamento automáticos, conversão em casos herméticos e reprodução no CI por US$ 0.
OpenJudge: Um Framework Unificado para Avaliação Holística e Recompensas de Qualidade
Um framework poderoso de compressão de modelos para LLMs e LVLMs, adaptado para GPUs NVIDIA e NPUs Huawei Ascend.
Gere Sintéticos de Alta Qualidade, Treine, Meça e Avalie em um Único Pipeline
API SemanticKITTI para visualização de conjunto de dados, processamento de dados e avaliação de resultados.
ClawProBench é um harness de benchmark com prioridade em testes ao vivo para avaliar agentes LLM no runtime OpenClaw com avaliação determinística e confiabilidade em testes repetidos.
Avaliações de código aberto para IA física. Execute qualquer LLM/VLA em qualquer braço robótico ou humanoide com base em qualquer benchmark real ou simulado.
Web Codegen Scorer é uma ferramenta para avaliar a qualidade do código web gerado por LLMs.
[EMNLP 2024 & AAAI 2026] Um kit de ferramentas poderoso para compactar grandes modelos, incluindo LLMs, VLMs e modelos generativos de vídeo.
🦞 Plugin oficial para OpenClaw que exporta rastreamentos de agentes para o Opik. Veja e monitore o comportamento do agente, custo, tokens, erros e mais.
Framework de red teaming e avaliação para agentes de IA, baseado em uma taxonomia ASI01–ASI10 inspirada na OWASP
Avaliação da factualidade de formato longo em modelos de linguagem grandes. Código original para o nosso artigo "Factualidade de formato longo em modelos de linguagem grandes".
Awesome-LLM-Eval: uma lista selecionada de ferramentas, conjuntos de dados/benchmarks, demonstrações, placares, artigos, documentos e modelos, principalmente para Avaliação em LLMs. Uma lista selecionada de ferramentas, benchmarks/dados, demonstrações, placares e grandes modelos, voltada principalmente para a avaliação de LLMs fundamentais, com o objetivo de explorar os limites técnicos da IA generativa.
AutoPrompt: Construção Automática de Prompts para Modelos de Linguagem Mascarados.
Um repositório de recursos para desaprendizagem de máquina em grandes modelos de linguagem
Conjunto de dados e benchmark para RAG em documentos internos da empresa.
[ICML 2024] TrustLLM: avaliação da confiabilidade de LLMs em termos de veracidade, segurança, equidade, robustez, privacidade e ética. Kit de ferramentas Python/CLI para modelos locais, APIs compatíveis e orquestração de agentes de IA.
TCExam é um sistema de CBA (Avaliação Baseada em Computador) (e-exam, CBT - Teste Baseado em Computador) para universidades, escolas e empresas, que permite a educadores e formadores criar, agendar, entregar e relatar inquéritos, questionários, testes e exames.
Um Avaliador de Expressões Simples de Matemática e Pseudo C# em Um Único Arquivo C#. Também pode executar pequenos scripts semelhantes a C#
Avaliador de Expressões Simples, Seguro, Em Caixa de Areia e Extensível para Python
XRAG: eXamining the Core - Avaliação comparativa de módulos de componentes fundamentais na geração avançada aumentada por recuperação
Este repositório contém código de avaliação para o artigo "MMMU: A Massive Multi-discipline Multimodal Understanding and Reasoning Benchmark for Expert AGI"
Uma coleção de conjuntos de dados que associam perguntas a consultas SQL.
Este é um repositório de ferramentas para ajudar a avaliar vários métodos que realizam o correspondimento de imagens a partir de um par de imagens.
O Meta Agents Research Environments é uma plataforma abrangente projetada para avaliar agentes de IA em cenários dinâmicos e realistas. Ao contrário de benchmarks estáticos, esta plataforma introduz ambientes em evolução onde os agentes devem adaptar suas estratégias à medida que novas informações se tornam disponíveis, espelhando desafios do mundo real.
O repositório oficial do GitHub do paper "Recent advances in large language model benchmarks against data contamination: From static to dynamic evaluation"