Git Stars Git Stars

#evaluation-framework Repositórios

Descubra 13 repositórios ativos de código aberto no GitHub marcados com #evaluation-framework, acumulando um total de 100,331 estrelas (uma média de 7,717 por projeto). O líder deste tópico é promptfoo/promptfoo, com 27,516 estrelas.

13
Total de Repositórios
100,331
Total de estrelas
7,717
Média de Estrelas/Repositório
Linguagens de programação: Python TypeScript Jupyter Notebook

13 repositórios no total

1
promptfoo/promptfoo

Teste seus prompts, agentes e RAGs. Red teaming/pentesting/verificação de vulnerabilidades para IA. Compare o desempenho de GPT, Claude, Gemini, DeepSeek e mais. Configurações declarativas simples com integração de linha de comando e CI/CD. Utilizado pela OpenAI e Anthropic.

promptfoo
⭐ 27,516 TypeScript 👤 promptfoo Organization 🕐 Atualizado 2026-11-21 📅 Criado 2023-04-28
2
openai/evals

Evals é uma estrutura para avaliar LLMs e sistemas de LLM, e um registro de código aberto de benchmarks.

openai
⭐ 19,776 Python 👤 openai Organization 🕐 Atualizado 2026-04-14 📅 Criado 2023-01-23
3
confident-ai/deepeval

A Estrutura de Avaliação de LLM

confident-ai
⭐ 19,585 Python 👤 confident-ai Organization 🕐 Atualizado 2026-11-19 📅 Criado 2023-08-10
4
EleutherAI/lm-evaluation-harness

Uma estrutura para avaliação few-shot de modelos de linguagem.

EleutherAI
⭐ 14,515 Python 👤 EleutherAI Organization 🕐 Atualizado 2026-11-04 📅 Criado 2020-08-28
5
Kiln-AI/Kiln

Construir, Avaliar e Otimizar Sistemas de IA. Inclui avaliações (evals), RAG, agentes, ajuste fino, geração de dados sintéticos, gerenciamento de conjuntos de dados, MCP e muito mais.

Kiln-AI
⭐ 5,286 Python 👤 Kiln-AI Organization 🕐 Atualizado 2026-11-21 📅 Criado 2024-07-23
6
Nicolepcx/ai-agents-the-definitive-guide

Repositório para Agentes de IA: O Guia Definitivo

Nicolepcx
⭐ 3,020 Jupyter Notebook 👤 Nicolepcx User 🕐 Atualizado 2026-08-01 📅 Criado 2025-08-22
7
huggingface/lighteval

Lighteval é seu kit de ferramentas completo para avaliar LLMs em vários backends

huggingface
⭐ 2,587 Python 👤 huggingface Organization 🕐 Atualizado 2026-11-18 📅 Criado 2024-01-26
8
future-agi/future-agi

Plataforma open-source de ponta a ponta para avaliar, observar e melhorar aplicações de LLM e agentes de IA. Tracing · Evals · Simulations · Datasets · Gateway · Guardrails. Auto-hospedável. Apache 2.0.

future-agi
⭐ 2,284 Python 👤 future-agi Organization 🕐 Atualizado 2026-11-21 📅 Criado 2026-04-23
9
Cloud-CV/EvalAI

:cloud: :rocket: :bar_chart: :chart_with_upwards_trend: Avaliando o estado da arte em IA

Cloud-CV
⭐ 2,049 Python 👤 Cloud-CV Organization 🕐 Atualizado 2026-11-14 📅 Criado 2016-10-21
10
tsale/EDR-Telemetry

Este projeto visa comparar e avaliar a telemetria de vários produtos EDR.

tsale
⭐ 2,004 Python 👤 tsale User 🕐 Atualizado 2026-11-12 📅 Criado 2023-04-01
11
ServiceNow/AgentLab

AgentLab: Um framework de código aberto para desenvolver, testar e avaliar agentes web em diversas tarefas, projetado para escalabilidade e reprodutibilidade.

ServiceNow
⭐ 668 Python 👤 ServiceNow Organization 🕐 Atualizado 2026-10-06 📅 Criado 2024-05-21
12
lartpang/SAMs-CDConcepts-Eval

Inspirando a Próxima Geração de Modelos 'Segment Anything': Avaliando de Forma Abrangente SAM e SAM 2 com Diversos Prompts em Direção a Conceitos Dependentes de Contexto em Diferentes Cenários

lartpang
⭐ 575 Python 👤 lartpang User 🕐 Atualizado 2026-08-30 📅 Criado 2024-11-26
13
relari-ai/continuous-eval

Avaliação Orientada por Dados para Aplicações Baseadas em LLMs

relari-ai
⭐ 519 Python 👤 relari-ai Organization 🕐 Atualizado 2026-08-10 📅 Criado 2023-12-08

Perguntas Frequentes

1

Qual é o repositório de #evaluation-framework mais popular no GitHub?

O projeto de código aberto de #evaluation-framework mais bem classificado no GitHub é promptfoo/promptfoo, com 27,516 estrelas. Teste seus prompts, agentes e RAGs. Red teaming/pentesting/verificação de vulnerabilidades para IA. Compare o desempenho de GPT, Claude, Gemini, DeepSeek e mais. Configurações declarativas simples com integração de linha de comando e CI/CD. Utilizado pela OpenAI e Anthropic.

2

Quais linguagens de programação são mais usadas nos repositórios de #evaluation-framework?

Entre os projetos de #evaluation-framework mais bem classificados no GitHub, as linguagens de programação mais comuns são Python, TypeScript, Jupyter Notebook.

3

Como é calculada a classificação dos repositórios de #evaluation-framework?

Acompanhamos 13 repositórios ativos de código aberto marcados com #evaluation-framework (com mais de 500 estrelas), totalizando 100,331 estrelas e uma média de 7,717 estrelas por repositório. As classificações são atualizadas diariamente a partir da API do GitHub.