Git Stars Git Stars

#evaluation Repositórios

89
Total de Repositórios
369,872
Total de estrelas
4,155
Média de Estrelas/Repositório

89 repositórios no total

51
chunxiaoxx/nautilus-compass

Camada aberta de memória e confiabilidade para agentes de IA + avaliação/verificação independente (juiz NACRE, met benchmark caliber-bench, critérios pré-registrados) — da Nautilus Platform

chunxiaoxx
⭐ 1,260 Python 👤 chunxiaoxx User 🕐 Atualizado 2026-11-19 📅 Criado 2026-04-27
52
run-house/kubetorch

Distribua e execute cargas de trabalho de IA no Kubernetes de forma mágica em Python, como o PyTorch para infraestrutura de ML.

run-house
⭐ 1,228 Python 👤 run-house Organization 🕐 Atualizado 2026-05-29 📅 Criado 2022-05-10
53
google/fuzzbench

FuzzBench - Benchmarking de fuzzers como serviço.

google
⭐ 1,211 Python 👤 google Organization 🕐 Atualizado 2026-01-26 📅 Criado 2020-02-04
54
toshas/torch-fidelity

Métricas de desempenho de alta fidelidade para modelos generativos no PyTorch

toshas
⭐ 1,205 Python 👤 toshas User 🕐 Atualizado 2026-10-25 📅 Criado 2020-04-23
55
ncalc/ncalc

NCalc é uma biblioteca de avaliação de expressões rápida e leve para .NET, projetada para flexibilidade e alto desempenho. Ela suporta uma ampla gama de operações matemáticas e lógicas.

ncalc
⭐ 1,172 C# 👤 ncalc Organization 🕐 Atualizado 2026-11-21 📅 Criado 2017-11-15
56
xinxuxin/keystone-bench

Um benchmark de evidências para decisões clínicas: extrair o único fato em que uma resposta se baseia e verificar se a ação do assistente acompanha as evidências. Desenvolvido com base no HealthBench.

xinxuxin
⭐ 1,130 Python 👤 xinxuxin User 🕐 Atualizado 2026-10-19 📅 Criado 2026-09-07
57
Jwuthri/Tracely-ai

CI/CD nativo de traces para agentes de IA — falhas em produção tornam-se testes de regressão que bloqueiam o PR. Detecção e agrupamento automáticos, conversão em casos herméticos e reprodução no CI por US$ 0.

Jwuthri
⭐ 1,122 Python 👤 Jwuthri User 🕐 Atualizado 2026-11-21 📅 Criado 2026-06-03
58
agentscope-ai/OpenJudge

OpenJudge: Um Framework Unificado para Avaliação Holística e Recompensas de Qualidade

agentscope-ai
⭐ 1,121 Python 👤 agentscope-ai Organization 🕐 Atualizado 2026-11-21 📅 Criado 2025-07-08
59
prometheus-eval/prometheus-eval

Avalie a resposta do seu LLM com Prometheus e GPT4 💯

prometheus-eval
⭐ 1,087 Python 👤 prometheus-eval Organization 🕐 Atualizado 2025-04-25 📅 Criado 2024-04-18
60
langchain-ai/langsmith-sdk

Implementações do SDK do Cliente LangSmith

langchain-ai
⭐ 1,082 Python 👤 langchain-ai Organization 🕐 Atualizado 2026-10-16 📅 Criado 2023-05-30
61
MAC-AutoML/MindPipe

Um framework poderoso de compressão de modelos para LLMs e LVLMs, adaptado para GPUs NVIDIA e NPUs Huawei Ascend.

MAC-AutoML
⭐ 1,013 Python 👤 MAC-AutoML Organization 🕐 Atualizado 2026-08-11 📅 Criado 2026-01-22
62
nolabs-ai/deepfabric

Gere Sintéticos de Alta Qualidade, Treine, Meça e Avalie em um Único Pipeline

nolabs-ai
⭐ 896 Python 👤 nolabs-ai Organization 🕐 Atualizado 2026-11-13 📅 Criado 2024-10-25
63
PRBonn/semantic-kitti-api

API SemanticKITTI para visualização de conjunto de dados, processamento de dados e avaliação de resultados.

PRBonn
⭐ 895 Python 👤 PRBonn Organization 🕐 Atualizado 2025-04-03 📅 Criado 2019-07-24
64
suyoumo/ClawProBench

ClawProBench é um harness de benchmark com prioridade em testes ao vivo para avaliar agentes LLM no runtime OpenClaw com avaliação determinística e confiabilidade em testes repetidos.

suyoumo
⭐ 829 Rust 👤 suyoumo User 🕐 Atualizado 2026-08-25 📅 Criado 2025-03-02
65
PaesslerAG/gval

Avaliação de expressões em golang

PaesslerAG
⭐ 819 Go 👤 PaesslerAG Organization 🕐 Atualizado 2026-09-13 📅 Criado 2017-09-27
66
robocurve/inspect-robots

Avaliações de código aberto para IA física. Execute qualquer LLM/VLA em qualquer braço robótico ou humanoide com base em qualquer benchmark real ou simulado.

robocurve
⭐ 776 Python 👤 robocurve Organization 🕐 Atualizado 2026-11-11 📅 Criado 2026-06-26
67
angular/web-codegen-scorer

Web Codegen Scorer é uma ferramenta para avaliar a qualidade do código web gerado por LLMs.

angular
⭐ 774 TypeScript 👤 angular Organization 🕐 Atualizado 2026-05-05 📅 Criado 2025-09-04
68
IntelLabs/RAG-FiT

Estrutura para aprimorar LLMs para tarefas RAG utilizando ajuste fino.

IntelLabs
⭐ 766 Python 👤 IntelLabs Organization 🕐 Atualizado 2026-06-08 📅 Criado 2024-07-23
69
ModelTC/LightCompress

[EMNLP 2024 & AAAI 2026] Um kit de ferramentas poderoso para compactar grandes modelos, incluindo LLMs, VLMs e modelos generativos de vídeo.

ModelTC
⭐ 755 Python 👤 ModelTC Organization 🕐 Atualizado 2026-05-14 📅 Criado 2024-03-06
70
comet-ml/opik-openclaw

🦞 Plugin oficial para OpenClaw que exporta rastreamentos de agentes para o Opik. Veja e monitore o comportamento do agente, custo, tokens, erros e mais.

comet-ml
⭐ 723 TypeScript 👤 comet-ml Organization 🕐 Atualizado 2026-11-20 📅 Criado 2026-03-02
71
AgentSafeLabs/safelabs-eval

Framework de red teaming e avaliação para agentes de IA, baseado em uma taxonomia ASI01–ASI10 inspirada na OWASP

AgentSafeLabs
⭐ 713 Python 👤 AgentSafeLabs Organization 🕐 Atualizado 2026-11-06 📅 Criado 2026-05-25
72
bochinski/iou-tracker

Implementação em Python do IOU Tracker

bochinski
⭐ 701 Python 👤 bochinski User 🕐 Atualizado 2026-06-14 📅 Criado 2017-07-25
73
google-deepmind/long-form-factuality

Avaliação da factualidade de formato longo em modelos de linguagem grandes. Código original para o nosso artigo "Factualidade de formato longo em modelos de linguagem grandes".

google-deepmind
⭐ 698 Python 👤 google-deepmind Organization 🕐 Atualizado 2026-06-18 📅 Criado 2024-03-25
74
AmenRa/ranx

⚡️Uma Biblioteca Python Ultrarrápida para Avaliação, Comparação e Fusão de Ranking 🐍

AmenRa
⭐ 691 Python 👤 AmenRa User 🕐 Atualizado 2025-08-07 📅 Criado 2020-06-02
75
onejune2018/Awesome-LLM-Eval

Awesome-LLM-Eval: uma lista selecionada de ferramentas, conjuntos de dados/benchmarks, demonstrações, placares, artigos, documentos e modelos, principalmente para Avaliação em LLMs. Uma lista selecionada de ferramentas, benchmarks/dados, demonstrações, placares e grandes modelos, voltada principalmente para a avaliação de LLMs fundamentais, com o objetivo de explorar os limites técnicos da IA generativa.

onejune2018
⭐ 661 👤 onejune2018 User 🕐 Atualizado 2025-11-24 📅 Criado 2023-04-26
76
run-llama/ParseBench

ParseBench - Um benchmark de análise de documentos para agentes de IA

run-llama
⭐ 650 Python 👤 run-llama Organization 🕐 Atualizado 2026-11-21 📅 Criado 2026-04-10
77
ucinlp/autoprompt

AutoPrompt: Construção Automática de Prompts para Modelos de Linguagem Mascarados.

ucinlp
⭐ 643 Python 👤 ucinlp Organization 🕐 Atualizado 2026-09-02 📅 Criado 2020-03-01
78
chrisliu298/awesome-llm-unlearning

Um repositório de recursos para desaprendizagem de máquina em grandes modelos de linguagem

chrisliu298
⭐ 640 👤 chrisliu298 User 🕐 Atualizado 2026-10-06 📅 Criado 2024-03-27
79
onyx-dot-app/EnterpriseRAG-Bench

Conjunto de dados e benchmark para RAG em documentos internos da empresa.

onyx-dot-app
⭐ 639 👤 onyx-dot-app Organization 🕐 Atualizado 2026-09-03 📅 Criado 2026-02-19
80
HowieHwong/TrustLLM

[ICML 2024] TrustLLM: avaliação da confiabilidade de LLMs em termos de veracidade, segurança, equidade, robustez, privacidade e ética. Kit de ferramentas Python/CLI para modelos locais, APIs compatíveis e orquestração de agentes de IA.

HowieHwong
⭐ 635 Python 👤 HowieHwong User 🕐 Atualizado 2026-10-04 📅 Criado 2023-12-23
81
tecnickcom/tcexam

TCExam é um sistema de CBA (Avaliação Baseada em Computador) (e-exam, CBT - Teste Baseado em Computador) para universidades, escolas e empresas, que permite a educadores e formadores criar, agendar, entregar e relatar inquéritos, questionários, testes e exames.

tecnickcom
⭐ 634 PHP 👤 tecnickcom Organization 🕐 Atualizado 2026-11-21 📅 Criado 2013-04-15
82
codingseb/ExpressionEvaluator

Um Avaliador de Expressões Simples de Matemática e Pseudo C# em Um Único Arquivo C#. Também pode executar pequenos scripts semelhantes a C#

codingseb
⭐ 630 C# 👤 codingseb User 🕐 Atualizado 2025-09-08 📅 Criado 2017-03-15
83
danthedeckie/simpleeval

Avaliador de Expressões Simples, Seguro, Em Caixa de Areia e Extensível para Python

danthedeckie
⭐ 618 Python 👤 danthedeckie User 🕐 Atualizado 2026-10-25 📅 Criado 2013-12-03
84
DocAILab/XRAG

XRAG: eXamining the Core - Avaliação comparativa de módulos de componentes fundamentais na geração avançada aumentada por recuperação

DocAILab
⭐ 612 Python 👤 DocAILab Organization 🕐 Atualizado 2026-11-01 📅 Criado 2024-09-07
85
MMMU-Benchmark/MMMU

Este repositório contém código de avaliação para o artigo "MMMU: A Massive Multi-discipline Multimodal Understanding and Reasoning Benchmark for Expert AGI"

MMMU-Benchmark
⭐ 601 Python 👤 MMMU-Benchmark Organization 🕐 Atualizado 2026-11-13 📅 Criado 2023-11-23
86
jkkummerfeld/text2sql-data

Uma coleção de conjuntos de dados que associam perguntas a consultas SQL.

jkkummerfeld
⭐ 587 Python 👤 jkkummerfeld User 🕐 Atualizado 2025-03-03 📅 Criado 2018-05-11
87
GrumpyZhou/image-matching-toolbox

Este é um repositório de ferramentas para ajudar a avaliar vários métodos que realizam o correspondimento de imagens a partir de um par de imagens.

GrumpyZhou
⭐ 586 Jupyter Notebook 👤 GrumpyZhou User 🕐 Atualizado 2024-04-29 📅 Criado 2020-11-24
88
facebookresearch/meta-agents-research-environments

O Meta Agents Research Environments é uma plataforma abrangente projetada para avaliar agentes de IA em cenários dinâmicos e realistas. Ao contrário de benchmarks estáticos, esta plataforma introduz ambientes em evolução onde os agentes devem adaptar suas estratégias à medida que novas informações se tornam disponíveis, espelhando desafios do mundo real.

facebookresearch
⭐ 581 Python 👤 facebookresearch Organization 🕐 Atualizado 2026-09-30 📅 Criado 2025-09-11
89
SeekingDream/Static-to-Dynamic-LLMEval

O repositório oficial do GitHub do paper "Recent advances in large language model benchmarks against data contamination: From static to dynamic evaluation"

SeekingDream
⭐ 500 👤 SeekingDream User 🕐 Atualizado 2026-09-28 📅 Criado 2025-02-21