Git Stars Git Stars

#llm-evaluation Repositórios

108
Total de Repositórios
444,825
Total de estrelas
4,118
Média de Estrelas/Repositório

108 repositórios no total

51
JackHopkins/factorio-learning-environment

Um ambiente não-saturante e de final aberto para a avaliação de LLMs no Factorio

JackHopkins
⭐ 1,224 Python 👤 JackHopkins User 🕐 Atualizado 2026-09-18 📅 Criado 2021-06-19
52
cvs-health/uqlm

[JMLR 2026] UQLM: um pacote Python para detectar alucinações em grandes modelos de linguagem por meio da quantificação da incerteza

cvs-health
⭐ 1,215 Python 👤 cvs-health Organization 🕐 Atualizado 2026-11-08 📅 Criado 2025-04-17
54
togethercomputer/together-cookbook

Uma coleção de notebooks/receitas que demonstram casos de uso de modelos de código aberto com Together AI.

togethercomputer
⭐ 1,191 Jupyter Notebook 👤 togethercomputer Organization 🕐 Atualizado 2026-11-18 📅 Criado 2024-10-07
55
wandb/weave

Weave é um kit de ferramentas para o desenvolvimento de aplicações com inteligência artificial, construído pela Weights & Biases.

wandb
⭐ 1,151 Python 👤 wandb Organization 🕐 Atualizado 2026-11-20 📅 Criado 2023-06-07
56
xinxuxin/keystone-bench

Um benchmark de evidências para decisões clínicas: extrair o único fato em que uma resposta se baseia e verificar se a ação do assistente acompanha as evidências. Desenvolvido com base no HealthBench.

xinxuxin
⭐ 1,130 Python 👤 xinxuxin User 🕐 Atualizado 2026-10-19 📅 Criado 2026-09-07
57
Jwuthri/Tracely-ai

CI/CD nativo de traces para agentes de IA — falhas em produção tornam-se testes de regressão que bloqueiam o PR. Detecção e agrupamento automáticos, conversão em casos herméticos e reprodução no CI por US$ 0.

Jwuthri
⭐ 1,122 Python 👤 Jwuthri User 🕐 Atualizado 2026-11-21 📅 Criado 2026-06-03
58
Arena-OSS/arena-hard-auto

Arena-Hard-Auto: Um benchmark automático de LLM.

Arena-OSS
⭐ 1,087 Python 👤 Arena-OSS Organization 🕐 Atualizado 2026-11-20 📅 Criado 2023-11-04
59
braintrustdata/autoevals

AutoEvals é uma ferramenta para avaliar de forma rápida e fácil as saídas de modelos de IA usando as melhores práticas.

braintrustdata
⭐ 1,087 Python 👤 braintrustdata Organization 🕐 Atualizado 2026-11-19 📅 Criado 2023-07-11
60
Continuum-AI-Corp/OrcaReplay

OrcaReplay — Viagem no tempo para agentes de IA. Grave, reproduza, crie ramificações e depure qualquer execução de agente com qualquer modelo. Desenvolvido pela equipe da OrcaRouter.ai.

Continuum-AI-Corp
⭐ 1,083 TypeScript 👤 Continuum-AI-Corp Organization 🕐 Atualizado 2026-10-01 📅 Criado 2026-08-29
62
JudgmentLabs/judgeval

A pilha de melhoria contínua para agentes. Nossos dados de ambiente e avaliações impulsionam a melhoria e o monitoramento de agentes.

JudgmentLabs
⭐ 1,073 Python 👤 JudgmentLabs Organization 🕐 Atualizado 2026-11-19 📅 Criado 2024-10-25
63
ray-project/llmperf

LLMPerf é uma biblioteca para validação e benchmarking de LLMs.

ray-project
⭐ 1,066 Python 👤 ray-project Organization 🕐 Atualizado 2024-12-09 📅 Criado 2023-10-10
64
benchflow-ai/awesome-evals

Uma biblioteca selecionada e direta dos melhores recursos para construir e avaliar agentes de IA — artigos, blogs, palestras, ferramentas, benchmarks. Mantida por BenchFlow.

benchflow-ai
⭐ 1,049 👤 benchflow-ai Organization 🕐 Atualizado 2026-11-04 📅 Criado 2026-06-24
65
amazon-science/RAGChecker

RAGChecker: Uma Estrutura de Granularidade Fina Para Diagnosticar RAG

amazon-science
⭐ 1,032 Python 👤 amazon-science Organization 🕐 Atualizado 2024-12-13 📅 Criado 2024-06-24
66
majacinka/crewai-experiments

Experimentos com modelos locais, bem como modelos disponíveis via uma API

majacinka
⭐ 1,006 Python 👤 majacinka User 🕐 Atualizado 2024-05-05 📅 Criado 2024-01-13
67
KCORES/kcores-llm-arena

LLM Arena pela equipe KCORES

KCORES
⭐ 960 HTML 👤 KCORES Organization 🕐 Atualizado 2025-04-29 📅 Criado 2025-02-12
68
superwesleyhys-ux/factcircuit

FactCircuit: um ciclo auditável de verificação de alegações e evidências, com proveniência imutável, verificações em etapas, recuperação limitada e avaliação reproduzível.

superwesleyhys-ux
⭐ 926 Python 👤 superwesleyhys-ux User 🕐 Atualizado 2026-11-13 📅 Criado 2026-09-06
70
hinthornw/promptimizer

Rascunho de otimização de prompt

hinthornw
⭐ 899 Python 👤 hinthornw User 🕐 Atualizado 2025-04-17 📅 Criado 2024-10-30
71
xlang-ai/Spider2

[ICLR 2025 Oral] Spider 2.0: Avaliando Modelos de Linguagem em Fluxos de Trabalho Text-to-SQL Empresariais do Mundo Real

xlang-ai
⭐ 890 HTML 👤 xlang-ai Organization 🕐 Atualizado 2026-08-12 📅 Criado 2024-08-22
72
yule-BUAA/MergeLM

Código-fonte para Fusão de Modelos de Linguagem (ICML 2024)

yule-BUAA
⭐ 862 Python 👤 yule-BUAA User 🕐 Atualizado 2024-05-05 📅 Criado 2023-11-06
73
jwuthri-cloud/Tracely-ai

CI/CD nativo de traces para agentes de IA: avalie traces de produção, agrupe falhas, transforme-as em testes de regressão reproduzíveis e bloqueie PRs que causem regressões. Pode ser hospedado por conta própria.

jwuthri-cloud
⭐ 850 Python 👤 jwuthri-cloud User 🕐 Atualizado 2026-11-16 📅 Criado 2026-10-11
74
darkrishabh/agent-skills-eval

Um executor de testes para habilidades de agentes de IA no estilo agentskills.io

darkrishabh
⭐ 819 TypeScript 👤 darkrishabh User 🕐 Atualizado 2026-11-16 📅 Criado 2026-05-06
75
tjunlp-lab/Awesome-LLMs-Evaluation-Papers

Os artigos estão organizados de acordo com nosso levantamento: Evaluating Large Language Models: A Comprehensive Survey.

tjunlp-lab
⭐ 791 👤 tjunlp-lab User 🕐 Atualizado 2024-05-08 📅 Criado 2023-10-29
77
overmind-core/overmind

A plataforma para melhorar continuamente os agentes de IA.

overmind-core
⭐ 771 Python 👤 overmind-core Organization 🕐 Atualizado 2026-11-21 📅 Criado 2026-03-27
79
OpenLMLab/GAOKAO-Bench

O GAOKAO-Bench é uma estrutura de avaliação que utiliza questões do GAOKAO como um conjunto de dados para avaliar grandes modelos de linguagem.

OpenLMLab
⭐ 754 Python 👤 OpenLMLab Organization 🕐 Atualizado 2025-01-07 📅 Criado 2023-04-16
80
EverMind-AI/SkillCorpus

Infraestrutura de código aberto que transforma arquivos SKILL.md dispersos em corpora de habilidades de agentes selecionados e prontos para recuperação, incluindo ferramentas de recuperação e avaliação.

EverMind-AI
⭐ 706 Python 👤 EverMind-AI Organization 🕐 Atualizado 2026-11-19 📅 Criado 2026-08-11
81
Steven-Luo/MasteringRAG

Sistema RAG de nível empresarial: do iniciante ao especialista

Steven-Luo
⭐ 699 Jupyter Notebook 👤 Steven-Luo User 🕐 Atualizado 2025-06-25 📅 Criado 2024-07-16
82
mlabonne/llm-autoeval

Avalie automaticamente seus LLMs no Google Colab

mlabonne
⭐ 678 Python 👤 mlabonne User 🕐 Atualizado 2024-05-07 📅 Criado 2024-01-01
83
onejune2018/Awesome-LLM-Eval

Awesome-LLM-Eval: uma lista selecionada de ferramentas, conjuntos de dados/benchmarks, demonstrações, placares, artigos, documentos e modelos, principalmente para Avaliação em LLMs. Uma lista selecionada de ferramentas, benchmarks/dados, demonstrações, placares e grandes modelos, voltada principalmente para a avaliação de LLMs fundamentais, com o objetivo de explorar os limites técnicos da IA generativa.

onejune2018
⭐ 661 👤 onejune2018 User 🕐 Atualizado 2025-11-24 📅 Criado 2023-04-26
84
wanghao-SunSky/cs329z-chinese

Tutorial em chinês de Stanford CS329Z Engineering AI Agents: um curso de agentes de IA para desenvolvedores Python, com 19 aulas e 4 projetos práticos, que aborda LLMs, RAG, chamadas de ferramentas, memória, sistemas multiagentes, avaliação e segurança. Markdown completo e HTML para uso online e offline. Notas do curso em chinês.

wanghao-SunSky
⭐ 658 HTML 👤 wanghao-SunSky User 🕐 Atualizado 2026-11-06 📅 Criado 2026-10-28
85
ValueByte-AI/Awesome-LLM-in-Social-Science

Artigos incríveis envolvendo LLMs nas Ciências Sociais.

ValueByte-AI
⭐ 652 👤 ValueByte-AI Organization 🕐 Atualizado 2026-11-14 📅 Criado 2023-10-15
86
codefuse-ai/codefuse-devops-eval

Benchmark de avaliação com foco industrial para LLMs no domínio de DevOps/AIOps.

codefuse-ai
⭐ 646 Python 👤 codefuse-ai Organization 🕐 Atualizado 2024-07-10 📅 Criado 2023-09-28
87
onyx-dot-app/EnterpriseRAG-Bench

Conjunto de dados e benchmark para RAG em documentos internos da empresa.

onyx-dot-app
⭐ 639 👤 onyx-dot-app Organization 🕐 Atualizado 2026-09-03 📅 Criado 2026-02-19
88
HowieHwong/TrustLLM

[ICML 2024] TrustLLM: avaliação da confiabilidade de LLMs em termos de veracidade, segurança, equidade, robustez, privacidade e ética. Kit de ferramentas Python/CLI para modelos locais, APIs compatíveis e orquestração de agentes de IA.

HowieHwong
⭐ 635 Python 👤 HowieHwong User 🕐 Atualizado 2026-10-04 📅 Criado 2023-12-23
89
inclusionAI/ASearcher

Um Projeto de Aprendizagem por Reforço em Larga Escala de Código Aberto para Agentes de Busca

inclusionAI
⭐ 617 Python 👤 inclusionAI Organization 🕐 Atualizado 2025-11-26 📅 Criado 2025-08-05
90
mlfoundations/evalchemy

Avaliações automáticas para LLMs

mlfoundations
⭐ 617 HTML 👤 mlfoundations Organization 🕐 Atualizado 2026-11-12 📅 Criado 2024-11-15
92
SalesforceAIResearch/MCP-Universe

MCP-Universe é um framework abrangente projetado para treinamento RL, benchmarking e desenvolvimento de agentes de IA para uso geral de ferramentas.

SalesforceAIResearch
⭐ 606 Python 👤 SalesforceAIResearch Organization 🕐 Atualizado 2026-10-08 📅 Criado 2025-05-02
93
CSHaitao/Awesome-LLMs-as-Judges

O repositório oficial do artigo, LLMs-as-Judges: Um levantamento abrangente sobre métodos de avaliação baseados em LLM.

CSHaitao
⭐ 600 👤 CSHaitao User 🕐 Atualizado 2025-07-29 📅 Criado 2024-11-10
94
harish-gaggar/mcp-server-gateway

Gateway MCP e servidores MCP com OAuth. Agente LangGraph: memória, avaliação/acompanhamento, proteção de informações pessoais identificáveis (PII) e redução do contexto. Guia de início rápido com Docker para agentes empresariais.

harish-gaggar
⭐ 588 Python 👤 harish-gaggar User 🕐 Atualizado 2026-10-03 📅 Criado 2026-08-17
95
yfzhang114/Thyme

✨✨ [ICLR 2026] Pense além das imagens

yfzhang114
⭐ 585 Python 👤 yfzhang114 User 🕐 Atualizado 2025-09-23 📅 Criado 2025-08-17
96
General-Analysis/GA

Uma enciclopédia de técnicas de jailbreaking para tornar os modelos de IA mais seguros.

General-Analysis
⭐ 583 Jupyter Notebook 👤 General-Analysis Organization 🕐 Atualizado 2025-05-26 📅 Criado 2025-01-18
98
juanjuandog/FinSight-AI

Agente de pesquisa de ações com IA, com fluxos de trabalho resilientes, RAG fundamentado em evidências, relatórios versionados e avaliação automatizada da qualidade.

juanjuandog
⭐ 562 Java 👤 juanjuandog User 🕐 Atualizado 2026-09-02 📅 Criado 2026-05-11
100
RUCAIBox/HaluEval

Este é o repositório do HaluEval, um benchmark de avaliação de alucinação em larga escala para Modelos de Linguagem Grandes.

RUCAIBox
⭐ 540 Python 👤 RUCAIBox Organization 🕐 Atualizado 2024-02-12 📅 Criado 2023-05-18