Git Stars Git Stars

#evaluation Repositórios

Descubra 89 repositórios ativos de código aberto no GitHub marcados com #evaluation, acumulando um total de 369,872 estrelas (uma média de 4,155 por projeto). O líder deste tópico é lm-sys/FastChat, com 39,550 estrelas.

89
Total de Repositórios
369,872
Total de estrelas
4,155
Média de Estrelas/Repositório

89 repositórios no total

1
lm-sys/FastChat

Uma plataforma aberta para treinamento, serviço e avaliação de grandes modelos de linguagem. Repositório de lançamento para Vicuna e Chatbot Arena.

lm-sys
⭐ 39,550 Python 👤 lm-sys Organization 🕐 Atualizado 2026-05-01 📅 Criado 2023-03-19
2
Tencent/WeKnora

Plataforma open-source de conhecimento LLM: transforme documentos brutos em um RAG consultável, um agente de raciocínio autônomo e uma Wiki auto-mantida.

Tencent
⭐ 37,938 Go 👤 Tencent Organization 🕐 Atualizado 2026-11-21 📅 Criado 2025-07-22
3
langfuse/langfuse

🪢 Plataforma de engenharia de IA de código aberto: AI Gateway, observabilidade de agentes, avaliações e gestão de prompts e competências, baseada em OpenTelemetry. Uma plataforma aberta para cada chamada de IA e cada agente. Aloje-a por conta própria ou use o Langfuse Cloud.

langfuse
⭐ 37,696 TypeScript 👤 langfuse Organization 🕐 Atualizado 2026-11-21 📅 Criado 2023-05-18
4
mlflow/mlflow

A plataforma de engenharia de IA open source para agentes, LLMs e modelos de ML. O MLflow permite que equipes de todos os tamanhos depurem, avaliem, monitorem e otimizem aplicações de IA de qualidade de produção enquanto controlam custos e gerenciam o acesso a modelos e dados.

mlflow
⭐ 28,920 Python 👤 mlflow Organization 🕐 Atualizado 2026-11-21 📅 Criado 2018-06-05
5
promptfoo/promptfoo

Teste seus prompts, agentes e RAGs. Red teaming/pentesting/verificação de vulnerabilidades para IA. Compare o desempenho de GPT, Claude, Gemini, DeepSeek e mais. Configurações declarativas simples com integração de linha de comando e CI/CD. Utilizado pela OpenAI e Anthropic.

promptfoo
⭐ 27,516 TypeScript 👤 promptfoo Organization 🕐 Atualizado 2026-11-21 📅 Criado 2023-04-28
6
comet-ml/opik

Depure, avalie e monitore suas aplicações LLM, sistemas RAG e fluxos de trabalho baseados em agentes com rastreamento abrangente, avaliações automatizadas e dashboards prontos para produção.

comet-ml
⭐ 23,479 Java 👤 comet-ml Organization 🕐 Atualizado 2026-11-21 📅 Criado 2023-05-10
7
vibrantlabsai/ragas

Potencialize as Avaliações da Sua Aplicação LLM 🚀

vibrantlabsai
⭐ 16,395 Python 👤 vibrantlabsai Organization 🕐 Atualizado 2026-11-14 📅 Criado 2023-05-08
8
open-compass/opencompass

OpenCompass é uma plataforma de avaliação de grandes modelos de linguagem (LLMs) que oferece suporte a uma ampla variedade de modelos da OpenAI, Anthropic, Gemini, Qwen, GLM, DeepSeek etc., em mais de 100 conjuntos de dados que abrangem conhecimento, raciocínio, programação, ciência, linguagem, contexto longo e segurança.

open-compass
⭐ 7,610 Python 👤 open-compass Organization 🕐 Atualizado 2026-11-18 📅 Criado 2023-06-15
9
alchaincyf/darwin-skill

达尔文.skill —— Um sistema que evolui infinitamente suas Skills: avaliação→melhoria→teste→manter ou rollback | Otimização autônoma de skills inspirada em Autoresearch para Claude Code. Avaliar, melhorar, testar, manter ou reverter.

alchaincyf
⭐ 7,015 HTML 👤 alchaincyf User 🕐 Atualizado 2026-11-18 📅 Criado 2026-04-13
10
Helicone/helicone

🧊 Plataforma de observabilidade de LLM de código aberto. Uma linha de código para monitorar, avaliar e experimentar. YC W23 🍓

Helicone
⭐ 6,292 TypeScript 👤 Helicone Organization 🕐 Atualizado 2026-11-17 📅 Criado 2023-01-31
11
coze-dev/coze-loop

Plataforma de Otimização de Agentes de IA de Próxima Geração: Cozeloop aborda os desafios no desenvolvimento de agentes de IA, fornecendo recursos de gerenciamento de ciclo de vida completo, desde o desenvolvimento, depuração e avaliação até o monitoramento.

coze-dev
⭐ 5,799 Go 👤 coze-dev Organization 🕐 Atualizado 2026-11-17 📅 Criado 2025-06-24
12
Kiln-AI/Kiln

Construir, Avaliar e Otimizar Sistemas de IA. Inclui avaliações (evals), RAG, agentes, ajuste fino, geração de dados sintéticos, gerenciamento de conjuntos de dados, MCP e muito mais.

Kiln-AI
⭐ 5,286 Python 👤 Kiln-AI Organization 🕐 Atualizado 2026-11-21 📅 Criado 2024-07-23
13
langwatch/langwatch

Observabilidade e avaliações de agentes de código aberto para equipes de plataformas de IA. Rastreie, teste, roteie e governe cada agente e assistente de programação da empresa.

langwatch
⭐ 5,050 TypeScript 👤 langwatch Organization 🕐 Atualizado 2026-11-21 📅 Criado 2023-09-09
14
EvolvingLMMs-Lab/lmms-eval

Ferramenta de Avaliação Multimodal One-for-All para Tarefas de Texto, Imagem, Vídeo e Áudio

EvolvingLMMs-Lab
⭐ 4,501 Python 👤 EvolvingLMMs-Lab Organization 🕐 Atualizado 2026-11-20 📅 Criado 2024-03-07
15
open-compass/VLMEvalKit

Kit de ferramentas de avaliação de código aberto para grandes modelos de multimodalidade (LMMs), com suporte para mais de 220 LMMs e mais de 80 benchmarks

open-compass
⭐ 4,499 Python 👤 open-compass Organization 🕐 Atualizado 2026-11-19 📅 Criado 2023-12-01
16
MichaelGrupp/evo

Pacote Python para a avaliação de odometria e SLAM

MichaelGrupp
⭐ 4,367 Python 👤 MichaelGrupp User 🕐 Atualizado 2026-11-15 📅 Criado 2017-09-13
17
NVIDIA/SkillEvaluator

Framework multinível para avaliar habilidades e plugins de agentes de IA, com critérios de qualidade, análise de segurança, verificações de compatibilidade com o ambiente de testes, detecção de sobreposição semântica, geração de conjuntos de dados sintéticos para avaliação e avaliação de agentes em tempo real, que mede como as habilidades afetam o comportamento do agente. Inclui modelos de CI reutilizáveis que levam todas as verificações a qualquer repositório.

NVIDIA
⭐ 4,300 Python 👤 NVIDIA Organization 🕐 Atualizado 2026-11-21 📅 Criado 2026-06-24
18
modelscope/evalscope

Um framework simplificado e personalizável para avaliação eficiente e benchmarking de desempenho de grandes modelos (LLM, VLM, AIGC).

modelscope
⭐ 3,715 Python 👤 modelscope Organization 🕐 Atualizado 2026-11-20 📅 Criado 2023-12-07
19
embeddings-benchmark/mteb

MTEB: Avaliação de ponta de embeddings em diferentes idiomas e modalidades

embeddings-benchmark
⭐ 3,519 Python 👤 embeddings-benchmark Organization 🕐 Atualizado 2026-11-21 📅 Criado 2022-04-05
20
lmnr-ai/lmnr

Laminar - plataforma de observabilidade de código aberto construída especificamente para agentes de IA. YC S24.

lmnr-ai
⭐ 3,516 TypeScript 👤 lmnr-ai Organization 🕐 Atualizado 2026-11-20 📅 Criado 2024-08-29
21
CLUEbenchmark/SuperCLUE

SuperCLUE: Padrão Abrangente para Modelos de Fundação em Chinês | A Benchmark for Foundation Models in Chinese

CLUEbenchmark
⭐ 3,308 👤 CLUEbenchmark Organization 🕐 Atualizado 2026-02-06 📅 Criado 2023-05-02
22
viebel/klipse

Klipse é um plugin JavaScript para incorporar trechos de código interativos em blogs de tecnologia.

viebel
⭐ 3,134 HTML 👤 viebel User 🕐 Atualizado 2024-10-01 📅 Criado 2015-11-19
23
ianarawjo/ChainForge

Um ambiente de programação visual de código aberto para testar prompts em LLMs.

ianarawjo
⭐ 3,044 TypeScript 👤 ianarawjo User 🕐 Atualizado 2026-10-29 📅 Criado 2023-03-26
24
microsoft/promptbench

Um framework de avaliação unificado para grandes modelos de linguagem

microsoft
⭐ 2,786 Python 👤 microsoft Organization 🕐 Atualizado 2026-02-20 📅 Criado 2023-06-13
25
yaojingang/yao-meta-skill

YAO = Obtendo Resultados de IA. Um sistema rigoroso de engenharia, avaliação, governança e portabilidade para habilidades de agente reutilizáveis.

yaojingang
⭐ 2,739 Python 👤 yaojingang User 🕐 Atualizado 2026-11-09 📅 Criado 2026-03-31
26
huggingface/lighteval

Lighteval é seu kit de ferramentas completo para avaliar LLMs em vários backends

huggingface
⭐ 2,587 Python 👤 huggingface Organization 🕐 Atualizado 2026-11-18 📅 Criado 2024-01-26
27
huggingface/evaluate

🤗 Evaluate: Uma biblioteca para avaliar facilmente modelos e conjuntos de dados de aprendizado de máquina.

huggingface
⭐ 2,498 Python 👤 huggingface Organization 🕐 Atualizado 2026-11-16 📅 Criado 2022-03-30
28
1517005260/graph-rag-agent

RAG Integrado: Combinação e fusão de GraphRAG, LightRAG e Neo4j-llm-graph-builder para a construção e busca de grafos de conhecimento; integração da tecnologia DeepSearch para viabilizar a inferência RAG de domínio privado; e criação de uma estrutura de avaliação personalizada focada em GraphRAG.

1517005260
⭐ 2,355 Python 👤 1517005260 User 🕐 Atualizado 2025-11-05 📅 Criado 2025-02-12
29
uptrain-ai/uptrain

UpTrain é uma plataforma unificada de código aberto para avaliar e melhorar aplicações de IA Generativa. Fornecemos notas para mais de 20 verificações pré-configuradas (cobrindo casos de uso de linguagem, código e embeddings), realizamos análise da causa raiz em casos de falha e oferecemos insights sobre como resolvê-los.

uptrain-ai
⭐ 2,337 Python 👤 uptrain-ai Organization 🕐 Atualizado 2024-08-18 📅 Criado 2022-11-07
30
MCPJam/inspector

Plataforma de teste e avaliação para conversar, inspecionar e depurar servidores MCP, aplicativos MCP e aplicativos ChatGPT.

MCPJam
⭐ 2,331 TypeScript 👤 MCPJam Organization 🕐 Atualizado 2026-11-21 📅 Criado 2025-05-23
31
Sahir619/fable-method

O fluxo de trabalho Fable: como Claude Fable 5 funcionou, destilado em habilidades que qualquer modelo pode executar, com a avaliação que o mantém honesto. Pense / aja / prove.

Sahir619
⭐ 2,324 Python 👤 Sahir619 User 🕐 Atualizado 2026-10-03 📅 Criado 2026-07-06
32
Xnhyacinth/Awesome-LLM-Long-Context-Modeling

📰 Artigos e blogs de leitura obrigatória sobre Modelagem de Longo Contexto baseada em LLM 🔥

Xnhyacinth
⭐ 2,191 👤 Xnhyacinth User 🕐 Atualizado 2026-11-13 📅 Criado 2023-09-17
33
huggingface/evaluation-guidebook

Compartilhando tanto insights práticos quanto conhecimento teórico sobre a avaliação de LLMs que reunimos ao gerenciar o Open LLM Leaderboard e projetar o lighteval!

huggingface
⭐ 2,166 Jupyter Notebook 👤 huggingface Organization 🕐 Atualizado 2025-12-03 📅 Criado 2024-10-09
34
ContinualAI/avalanche

Avalanche: uma Biblioteca de Ponta a Ponta para Aprendizagem Contínua baseada em PyTorch.

ContinualAI
⭐ 2,054 Python 👤 ContinualAI Organization 🕐 Atualizado 2025-03-11 📅 Criado 2020-03-05
35
Cloud-CV/EvalAI

:cloud: :rocket: :bar_chart: :chart_with_upwards_trend: Avaliando o estado da arte em IA

Cloud-CV
⭐ 2,049 Python 👤 Cloud-CV Organization 🕐 Atualizado 2026-11-14 📅 Criado 2016-10-21
36
tatsu-lab/alpaca_eval

Um avaliador automático para modelos de linguagem que seguem instruções. Validado por humanos, de alta qualidade, barato e rápido.

tatsu-lab
⭐ 2,010 Jupyter Notebook 👤 tatsu-lab Organization 🕐 Atualizado 2025-08-09 📅 Criado 2023-05-25
37
trpc-group/trpc-agent-go

Um framework Go para construir sistemas de agentes de produção com fluxos de trabalho em grafo, ferramentas, memória, A2A, AG-UI, MCP, avaliação e observabilidade.

trpc-group
⭐ 1,940 Go 👤 trpc-group Organization 🕐 Atualizado 2026-11-21 📅 Criado 2025-05-14
38
xinshuoweng/AB3DMOT

(IROS 2020, ECCVW 2020) Implementação Oficial em Python para "Rastreamento 3D de Múltiplos Objetos: Uma Linha de Base e Novas Métricas de Avaliação"

xinshuoweng
⭐ 1,805 Python 👤 xinshuoweng User 🕐 Atualizado 2024-04-03 📅 Criado 2019-06-19
39
onestardao/WFGY

WFGY está se dirigindo ao WFGY 5.0 Polaris Protocol, uma grande versão de código aberto para raciocínio de IA, RAG, agentes e fluxos de trabalho do mundo real. Inclui Problem Map, Global Debug Card, WFGY 4.0 e o Easter Egg do CFV.

onestardao
⭐ 1,804 Jupyter Notebook 👤 onestardao User 🕐 Atualizado 2026-11-21 📅 Criado 2025-06-04
40
SmartFlowAI/EmoLLM

Grandes Modelos de Linguagem para Saúde Mental (LLM x Saúde Mental), Pré e Pós-treinamento, Conjunto de Dados, Avaliação, Implementação e RAG, com modelos das séries InternLM / Qwen / Baichuan / DeepSeek / Mixtral / LLama / GLM

SmartFlowAI
⭐ 1,797 Python 👤 SmartFlowAI Organization 🕐 Atualizado 2026-06-18 📅 Criado 2024-01-11
41
deepsense-ai/ragbits

Blocos de construção para o rápido desenvolvimento de aplicações GenAI

deepsense-ai
⭐ 1,678 Python 👤 deepsense-ai Organization 🕐 Atualizado 2026-05-18 📅 Criado 2024-09-02
42
MLGroupJLU/LLM-eval-survey

A página oficial do GitHub para o artigo de revisão "A Survey on Evaluation of Large Language Models".

MLGroupJLU
⭐ 1,615 👤 MLGroupJLU User 🕐 Atualizado 2026-11-18 📅 Criado 2023-07-02
43
sepandhaghighi/pycm

Biblioteca de matriz de confusão multiclasse em Python

sepandhaghighi
⭐ 1,507 Python 👤 sepandhaghighi User 🕐 Atualizado 2026-11-16 📅 Criado 2018-01-22
44
Maluuba/nlg-eval

Código de avaliação para várias métricas não supervisionadas automatizadas para Geração de Linguagem Natural.

Maluuba
⭐ 1,391 Python 👤 Maluuba Organization 🕐 Atualizado 2024-08-20 📅 Criado 2017-06-27
45
NVIDIA-NeMo/Gym

Avaliar e melhorar modelos e agentes usando ambientes

NVIDIA-NeMo
⭐ 1,347 Python 👤 NVIDIA-NeMo Organization 🕐 Atualizado 2026-11-21 📅 Criado 2025-08-25
46
ScalingIntelligence/KernelBench

KernelBench: Os LLMs Conseguem Escrever Kernels de GPU? - Benchmark + Toolkit com Torch -> CUDA (+ mais DSLs)

ScalingIntelligence
⭐ 1,336 Jupyter Notebook 👤 ScalingIntelligence Organization 🕐 Atualizado 2026-03-24 📅 Criado 2024-10-25
47
TIGER-AI-Lab/ClawBench

Benchmark de código aberto para agentes de IA do navegador em tarefas diárias.

TIGER-AI-Lab
⭐ 1,325 Python 👤 TIGER-AI-Lab Organization 🕐 Atualizado 2026-11-05 📅 Criado 2026-04-10
48
abo-abo/lispy

Edição LISP concisa e direta

abo-abo
⭐ 1,297 Emacs Lisp 👤 abo-abo User 🕐 Atualizado 2026-01-23 📅 Criado 2014-01-10
49
EthicalML/xai

XAI - Uma caixa de ferramentas de eXplicabilidade para aprendizado de máquina

EthicalML
⭐ 1,270 Python 👤 EthicalML Organization 🕐 Atualizado 2025-11-29 📅 Criado 2019-01-11
50
plurai-ai/intellagent

Uma estrutura para diagnóstico abrangente e otimização de agentes usando interações sintéticas simuladas e realistas

plurai-ai
⭐ 1,266 Python 👤 plurai-ai Organization 🕐 Atualizado 2026-09-14 📅 Criado 2024-10-28

Perguntas Frequentes

1

Qual é o repositório de #evaluation mais popular no GitHub?

O projeto de código aberto de #evaluation mais bem classificado no GitHub é lm-sys/FastChat, com 39,550 estrelas. Uma plataforma aberta para treinamento, serviço e avaliação de grandes modelos de linguagem. Repositório de lançamento para Vicuna e Chatbot Arena.

2

Quais linguagens de programação são mais usadas nos repositórios de #evaluation?

Entre os projetos de #evaluation mais bem classificados no GitHub, as linguagens de programação mais comuns são Python, TypeScript, Jupyter Notebook, Go.

3

Como é calculada a classificação dos repositórios de #evaluation?

Acompanhamos 89 repositórios ativos de código aberto marcados com #evaluation (com mais de 500 estrelas), totalizando 369,872 estrelas e uma média de 4,155 estrelas por repositório. As classificações são atualizadas diariamente a partir da API do GitHub.