Git Stars Git Stars

#llm-evaluation Repositórios

Descubra 108 repositórios ativos de código aberto no GitHub marcados com #llm-evaluation, acumulando um total de 444,825 estrelas (uma média de 4,118 por projeto). O líder deste tópico é ifixai-ai/iFixAi, com 46,592 estrelas.

108
Total de Repositórios
444,825
Total de estrelas
4,118
Média de Estrelas/Repositório

108 repositórios no total

1
ifixai-ai/iFixAi

Auditoria independente de agentes de IA. Executada por humanos ou pelo próprio agente, para responder à pergunta mais crucial na economia dos agentes de IA: o agente está fazendo o que deveria fazer? Com o iFixAi, você pode obter essa resposta em menos de 120 segundos.

ifixai-ai
⭐ 46,592 Python 👤 ifixai-ai Organization 🕐 Atualizado 2026-11-20 📅 Criado 2026-04-27
2
langfuse/langfuse

🪢 Plataforma de engenharia de IA de código aberto: AI Gateway, observabilidade de agentes, avaliações e gestão de prompts e competências, baseada em OpenTelemetry. Uma plataforma aberta para cada chamada de IA e cada agente. Aloje-a por conta própria ou use o Langfuse Cloud.

langfuse
⭐ 37,696 TypeScript 👤 langfuse Organization 🕐 Atualizado 2026-11-21 📅 Criado 2023-05-18
3
mlflow/mlflow

A plataforma de engenharia de IA open source para agentes, LLMs e modelos de ML. O MLflow permite que equipes de todos os tamanhos depurem, avaliem, monitorem e otimizem aplicações de IA de qualidade de produção enquanto controlam custos e gerenciam o acesso a modelos e dados.

mlflow
⭐ 28,920 Python 👤 mlflow Organization 🕐 Atualizado 2026-11-21 📅 Criado 2018-06-05
4
promptfoo/promptfoo

Teste seus prompts, agentes e RAGs. Red teaming/pentesting/verificação de vulnerabilidades para IA. Compare o desempenho de GPT, Claude, Gemini, DeepSeek e mais. Configurações declarativas simples com integração de linha de comando e CI/CD. Utilizado pela OpenAI e Anthropic.

promptfoo
⭐ 27,516 TypeScript 👤 promptfoo Organization 🕐 Atualizado 2026-11-21 📅 Criado 2023-04-28
5
huggingface/open-r1

Reprodução totalmente aberta do DeepSeek-R1

huggingface
⭐ 26,483 Python 👤 huggingface Organization 🕐 Atualizado 2026-10-26 📅 Criado 2025-01-24
6
comet-ml/opik

Depure, avalie e monitore suas aplicações LLM, sistemas RAG e fluxos de trabalho baseados em agentes com rastreamento abrangente, avaliações automatizadas e dashboards prontos para produção.

comet-ml
⭐ 23,479 Java 👤 comet-ml Organization 🕐 Atualizado 2026-11-21 📅 Criado 2023-05-10
7
openai/evals

Evals é uma estrutura para avaliar LLMs e sistemas de LLM, e um registro de código aberto de benchmarks.

openai
⭐ 19,776 Python 👤 openai Organization 🕐 Atualizado 2026-04-14 📅 Criado 2023-01-23
8
confident-ai/deepeval

A Estrutura de Avaliação de LLM

confident-ai
⭐ 19,585 Python 👤 confident-ai Organization 🕐 Atualizado 2026-11-19 📅 Criado 2023-08-10
9
Arize-ai/phoenix

Observabilidade e Avaliação de IA

Arize-ai
⭐ 12,368 Python 👤 Arize-ai Organization 🕐 Atualizado 2026-11-21 📅 Criado 2022-11-09
10
NVIDIA/garak

o scanner de vulnerabilidades de LLM

NVIDIA
⭐ 10,122 Python 👤 NVIDIA Organization 🕐 Atualizado 2026-11-18 📅 Criado 2023-05-10
11
oumi-ai/oumi

Ajuste finamente (SFT/RL), avalie e implante facilmente o Qwen, o Gemma ou qualquer LLM/VLM agêntico de código aberto!

oumi-ai
⭐ 9,441 Python 👤 oumi-ai Organization 🕐 Atualizado 2026-11-21 📅 Criado 2024-05-07
12
HKUDS/ClawWork

"ClawWork: OpenClaw como seu colega de IA - 💰 $15K ganhos em 11 horas"

HKUDS
⭐ 8,574 Python 👤 HKUDS Organization 🕐 Atualizado 2026-03-03 📅 Criado 2026-02-15
13
Tencent/AI-Infra-Guard

Uma plataforma full-stack de Red Teaming de IA que protege os ecossistemas de IA por meio de Agent Scan, Skills Scan, MCP Scan, AI Infra Scan e avaliação de jailbreaks de LLM.

Tencent
⭐ 7,604 Python 👤 Tencent Organization 🕐 Atualizado 2026-11-20 📅 Criado 2024-12-25
14
gepa-ai/gepa

Otimize prompts, código e muito mais com a Otimização Reflexiva baseada em IA

gepa-ai
⭐ 7,523 Jupyter Notebook 👤 gepa-ai Organization 🕐 Atualizado 2026-11-21 📅 Criado 2025-08-05
15
gkamradt/langchain-tutorials

Visão Geral e Tutorial da Biblioteca LangChain

gkamradt
⭐ 7,350 Jupyter Notebook 👤 gkamradt User 🕐 Atualizado 2024-08-05 📅 Criado 2023-02-13
16
simplescaling/s1

s1: Escalonamento simples em tempo de teste

simplescaling
⭐ 6,656 Python 👤 simplescaling Organization 🕐 Atualizado 2025-06-25 📅 Criado 2025-02-01
17
jeinlee1991/chinese-llm-benchmark

NoneLinear - Avaliação ReLE: Avaliação de capacidades de modelos de IA em chinês (atualização contínua): Atualmente inclui 374 modelos, abrangendo modelos comerciais como ChatGPT, GPT-5.4, Google Gemini-3.1-pro, Claude-4.6, Ernie-X1.1, Ernie-5.0, Qwen3.6-max, Qwen3.6-plus, Baichuan, iFlytek Spark, SenseChat, bem como modelos de código aberto como Step3.5-flash, Kimi-k2.6, Ernie4.5, MiniMax-M2.7, DeepSeek-v4, Qwen3.6, Llama4, Zhipu GLM-5.1, MiMo-V2, LongCat, Gemma4, Mistral, entre outros. Não oferece apenas um ranking, mas também uma base de dados de defeitos de modelos com mais de 2 milhões de entradas, facilitando a pesquisa, análise e melhoria de grandes modelos pela comunidade.

jeinlee1991
⭐ 6,522 👤 jeinlee1991 User 🕐 Atualizado 2026-11-20 📅 Criado 2023-06-04
18
Q00/ouroboros

Agent OS: o agente fica mais inteligente por conta própria. Nós apenas mantemos a linha: seleção por entrevista, avaliação em etapas e um ciclo de evolução com orçamento definido. Servidor MCP, 14 ambientes de execução: Claude Code, Codex CLI, Gemini CLI, OpenCode, Copilot, Kiro e mais.

Q00
⭐ 6,385 Python 👤 Q00 User 🕐 Atualizado 2026-11-21 📅 Criado 2026-01-14
19
Helicone/helicone

🧊 Plataforma de observabilidade de LLM de código aberto. Uma linha de código para monitorar, avaliar e experimentar. YC W23 🍓

Helicone
⭐ 6,292 TypeScript 👤 Helicone Organization 🕐 Atualizado 2026-11-17 📅 Criado 2023-01-31
20
Giskard-AI/giskard-oss

🐢 Biblioteca de Código Aberto para Avaliação e Teste de Agentes LLM

Giskard-AI
⭐ 5,965 Python 👤 Giskard-AI Organization 🕐 Atualizado 2026-11-20 📅 Criado 2022-03-06
21
PacktPublishing/LLM-Engineers-Handbook

O guia prático de LLMs: Dos fundamentos à implementação de aplicativos LLM avançados e RAG na AWS usando as melhores práticas de LLMOps

PacktPublishing
⭐ 5,438 Python 👤 PacktPublishing Organization 🕐 Atualizado 2026-04-22 📅 Criado 2024-04-09
22
going-doer/Paper2Code

Paper2Code: Automatizando a Geração de Código a Partir de Artigos Científicos em Aprendizado de Máquina

going-doer
⭐ 5,044 Python 👤 going-doer User 🕐 Atualizado 2026-03-25 📅 Criado 2025-04-25
23
EvolvingLMMs-Lab/lmms-eval

Ferramenta de Avaliação Multimodal One-for-All para Tarefas de Texto, Imagem, Vídeo e Áudio

EvolvingLMMs-Lab
⭐ 4,501 Python 👤 EvolvingLMMs-Lab Organization 🕐 Atualizado 2026-11-20 📅 Criado 2024-03-07
24
hemansnation/AI-Engineer-Headquarters

Uma coleção de métodos científicos, processos, algoritmos e sistemas para construir histórias e modelos.

hemansnation
⭐ 3,782 Jupyter Notebook 👤 hemansnation User 🕐 Atualizado 2026-10-28 📅 Criado 2022-03-29
25
truera/trulens

Avaliação e Monitoramento para Experimentos de LLM e Agentes de IA

truera
⭐ 3,665 Python 👤 truera Organization 🕐 Atualizado 2026-11-20 📅 Criado 2020-11-02
26
lmnr-ai/lmnr

Laminar - plataforma de observabilidade de código aberto construída especificamente para agentes de IA. YC S24.

lmnr-ai
⭐ 3,516 TypeScript 👤 lmnr-ai Organization 🕐 Atualizado 2026-11-20 📅 Criado 2024-08-29
27
openai/human-eval

Código para o artigo "Avaliando Grandes Modelos de Linguagem Treinados em Código"

openai
⭐ 3,431 Python 👤 openai Organization 🕐 Atualizado 2026-10-16 📅 Criado 2021-07-06
28
Sumanth077/ai-engineering-toolkit

Uma lista selecionada de mais de 100 bibliotecas e frameworks para engenheiros de IA que criam com LLMs

Sumanth077
⭐ 3,402 👤 Sumanth077 User 🕐 Atualizado 2026-05-11 📅 Criado 2025-08-06
29
UKGovernmentBEIS/inspect_ai

Inspect: Uma estrutura para avaliações de grandes modelos de linguagem

UKGovernmentBEIS
⭐ 3,302 Python 👤 UKGovernmentBEIS Organization 🕐 Atualizado 2026-11-20 📅 Criado 2023-11-14
30
FranxYao/chain-of-thought-hub

Avaliação comparativa da capacidade de raciocínio complexo de grandes modelos de linguagem com prompting de cadeia de pensamento

FranxYao
⭐ 2,762 Jupyter Notebook 👤 FranxYao User 🕐 Atualizado 2024-08-04 📅 Criado 2023-03-10
31
genieincodebottle/generative-ai

Recursos abrangentes sobre IA Generativa, incluindo um roteiro detalhado, projetos, casos de uso, preparação para entrevistas e preparação para codificação.

genieincodebottle
⭐ 2,675 Jupyter Notebook 👤 genieincodebottle User 🕐 Atualizado 2026-11-09 📅 Criado 2024-01-09
32
gkamradt/needle-in-a-haystack

Realizando recuperação simples de modelos LLM em vários comprimentos de contexto para medir a precisão

gkamradt
⭐ 2,408 Jupyter Notebook 👤 gkamradt User 🕐 Atualizado 2026-06-08 📅 Criado 2023-11-11
33
future-agi/future-agi

Plataforma open-source de ponta a ponta para avaliar, observar e melhorar aplicações de LLM e agentes de IA. Tracing · Evals · Simulations · Datasets · Gateway · Guardrails. Auto-hospedável. Apache 2.0.

future-agi
⭐ 2,284 Python 👤 future-agi Organization 🕐 Atualizado 2026-11-21 📅 Criado 2026-04-23
34
break-into-data/ai-engineer-toolkit

Projetos e Recursos para ajudá-lo a se tornar um Desenvolvedor de IA melhor.

break-into-data
⭐ 2,189 TypeScript 👤 break-into-data Organization 🕐 Atualizado 2025-09-15 📅 Criado 2025-02-24
36
msoedov/agentic_security

Scanner de Vulnerabilidade de LLM Agentic / Kit de Red Teaming de IA 🧪

msoedov
⭐ 2,048 Python 👤 msoedov User 🕐 Atualizado 2026-11-19 📅 Criado 2024-04-11
37
ai-that-works/ai-that-works

🦄 IA que funciona - toda terça-feira às 10h00 PST

ai-that-works
⭐ 2,016 TypeScript 👤 ai-that-works Organization 🕐 Atualizado 2026-11-19 📅 Criado 2025-04-02
39
centerforaisafety/hle

O Último Exame da Humanidade

centerforaisafety
⭐ 1,749 Python 👤 centerforaisafety Organization 🕐 Atualizado 2026-09-23 📅 Criado 2025-01-23
41
lizhe2004/Awesome-LLM-RAG-Application

os recursos sobre a aplicação baseada em LLM com o padrão RAG

lizhe2004
⭐ 1,662 👤 lizhe2004 User 🕐 Atualizado 2026-10-12 📅 Criado 2023-12-27
42
huggingface/aisheets

Crie, enriqueça e transforme conjuntos de dados usando modelos de IA sem código

huggingface
⭐ 1,656 TypeScript 👤 huggingface Organization 🕐 Atualizado 2026-09-23 📅 Criado 2025-01-16
43
cyberark/FuzzyAI

Uma ferramenta poderosa para fuzzing automatizado de LLM. Ela foi projetada para ajudar desenvolvedores e pesquisadores de segurança a identificar e mitigar possíveis jailbreaks em suas APIs de LLM.

cyberark
⭐ 1,611 Jupyter Notebook 👤 cyberark Organization 🕐 Atualizado 2026-02-06 📅 Criado 2024-12-03
44
sierra-research/tau-bench

Código e Dados para Tau-Bench

sierra-research
⭐ 1,514 Python 👤 sierra-research Organization 🕐 Atualizado 2026-03-18 📅 Criado 2024-06-06
45
safety-research/bloom

bloom - avalie qualquer comportamento imediatamente 🌸🌱

safety-research
⭐ 1,429 Python 👤 safety-research Organization 🕐 Atualizado 2026-05-07 📅 Criado 2025-06-24
47
meridianlabs-ai/inspect_petri

Um agente de auditoria de alinhamento capaz de explorar rapidamente hipóteses de alinhamento

meridianlabs-ai
⭐ 1,421 Python 👤 meridianlabs-ai Organization 🕐 Atualizado 2026-11-20 📅 Criado 2025-08-19
48
TIGER-AI-Lab/ClawBench

Benchmark de código aberto para agentes de IA do navegador em tarefas diárias.

TIGER-AI-Lab
⭐ 1,325 Python 👤 TIGER-AI-Lab Organization 🕐 Atualizado 2026-11-05 📅 Criado 2026-04-10
49
microsoft/prompty

O Prompty facilita a criação, gerenciamento, depuração e avaliação de prompts de LLM para suas aplicações de IA. O Prompty é uma classe de ativos e um formato para prompts de LLM projetados para melhorar a observabilidade, a compreensibilidade e a portabilidade para os desenvolvedores.

microsoft
⭐ 1,288 Rust 👤 microsoft Organization 🕐 Atualizado 2026-11-09 📅 Criado 2024-04-22
50
langchain-ai/openevals

Avaliadores prontos para seus aplicativos LLM

langchain-ai
⭐ 1,259 Python 👤 langchain-ai Organization 🕐 Atualizado 2026-11-18 📅 Criado 2025-02-08

Perguntas Frequentes

1

Qual é o repositório de #llm-evaluation mais popular no GitHub?

O projeto de código aberto de #llm-evaluation mais bem classificado no GitHub é ifixai-ai/iFixAi, com 46,592 estrelas. Auditoria independente de agentes de IA. Executada por humanos ou pelo próprio agente, para responder à pergunta mais crucial na economia dos agentes de IA: o agente está fazendo o que deveria fazer? Com o iFixAi, você pode obter essa resposta em menos de 120 segundos.

2

Quais linguagens de programação são mais usadas nos repositórios de #llm-evaluation?

Entre os projetos de #llm-evaluation mais bem classificados no GitHub, as linguagens de programação mais comuns são Python, Jupyter Notebook, TypeScript, Java.

3

Como é calculada a classificação dos repositórios de #llm-evaluation?

Acompanhamos 108 repositórios ativos de código aberto marcados com #llm-evaluation (com mais de 500 estrelas), totalizando 444,825 estrelas e uma média de 4,118 estrelas por repositório. As classificações são atualizadas diariamente a partir da API do GitHub.