#llm-evaluation Repositórios
Descubra 108 repositórios ativos de código aberto no GitHub marcados com #llm-evaluation, acumulando um total de 444,825 estrelas (uma média de 4,118 por projeto). O líder deste tópico é ifixai-ai/iFixAi, com 46,592 estrelas.
108 repositórios no total
Auditoria independente de agentes de IA. Executada por humanos ou pelo próprio agente, para responder à pergunta mais crucial na economia dos agentes de IA: o agente está fazendo o que deveria fazer? Com o iFixAi, você pode obter essa resposta em menos de 120 segundos.
🪢 Plataforma de engenharia de IA de código aberto: AI Gateway, observabilidade de agentes, avaliações e gestão de prompts e competências, baseada em OpenTelemetry. Uma plataforma aberta para cada chamada de IA e cada agente. Aloje-a por conta própria ou use o Langfuse Cloud.
A plataforma de engenharia de IA open source para agentes, LLMs e modelos de ML. O MLflow permite que equipes de todos os tamanhos depurem, avaliem, monitorem e otimizem aplicações de IA de qualidade de produção enquanto controlam custos e gerenciam o acesso a modelos e dados.
Teste seus prompts, agentes e RAGs. Red teaming/pentesting/verificação de vulnerabilidades para IA. Compare o desempenho de GPT, Claude, Gemini, DeepSeek e mais. Configurações declarativas simples com integração de linha de comando e CI/CD. Utilizado pela OpenAI e Anthropic.
Depure, avalie e monitore suas aplicações LLM, sistemas RAG e fluxos de trabalho baseados em agentes com rastreamento abrangente, avaliações automatizadas e dashboards prontos para produção.
Evals é uma estrutura para avaliar LLMs e sistemas de LLM, e um registro de código aberto de benchmarks.
Ajuste finamente (SFT/RL), avalie e implante facilmente o Qwen, o Gemma ou qualquer LLM/VLM agêntico de código aberto!
Uma plataforma full-stack de Red Teaming de IA que protege os ecossistemas de IA por meio de Agent Scan, Skills Scan, MCP Scan, AI Infra Scan e avaliação de jailbreaks de LLM.
NoneLinear - Avaliação ReLE: Avaliação de capacidades de modelos de IA em chinês (atualização contínua): Atualmente inclui 374 modelos, abrangendo modelos comerciais como ChatGPT, GPT-5.4, Google Gemini-3.1-pro, Claude-4.6, Ernie-X1.1, Ernie-5.0, Qwen3.6-max, Qwen3.6-plus, Baichuan, iFlytek Spark, SenseChat, bem como modelos de código aberto como Step3.5-flash, Kimi-k2.6, Ernie4.5, MiniMax-M2.7, DeepSeek-v4, Qwen3.6, Llama4, Zhipu GLM-5.1, MiMo-V2, LongCat, Gemma4, Mistral, entre outros. Não oferece apenas um ranking, mas também uma base de dados de defeitos de modelos com mais de 2 milhões de entradas, facilitando a pesquisa, análise e melhoria de grandes modelos pela comunidade.
Agent OS: o agente fica mais inteligente por conta própria. Nós apenas mantemos a linha: seleção por entrevista, avaliação em etapas e um ciclo de evolução com orçamento definido. Servidor MCP, 14 ambientes de execução: Claude Code, Codex CLI, Gemini CLI, OpenCode, Copilot, Kiro e mais.
🧊 Plataforma de observabilidade de LLM de código aberto. Uma linha de código para monitorar, avaliar e experimentar. YC W23 🍓
O guia prático de LLMs: Dos fundamentos à implementação de aplicativos LLM avançados e RAG na AWS usando as melhores práticas de LLMOps
Paper2Code: Automatizando a Geração de Código a Partir de Artigos Científicos em Aprendizado de Máquina
Ferramenta de Avaliação Multimodal One-for-All para Tarefas de Texto, Imagem, Vídeo e Áudio
Uma coleção de métodos científicos, processos, algoritmos e sistemas para construir histórias e modelos.
Laminar - plataforma de observabilidade de código aberto construída especificamente para agentes de IA. YC S24.
Código para o artigo "Avaliando Grandes Modelos de Linguagem Treinados em Código"
Uma lista selecionada de mais de 100 bibliotecas e frameworks para engenheiros de IA que criam com LLMs
Inspect: Uma estrutura para avaliações de grandes modelos de linguagem
Avaliação comparativa da capacidade de raciocínio complexo de grandes modelos de linguagem com prompting de cadeia de pensamento
Recursos abrangentes sobre IA Generativa, incluindo um roteiro detalhado, projetos, casos de uso, preparação para entrevistas e preparação para codificação.
Realizando recuperação simples de modelos LLM em vários comprimentos de contexto para medir a precisão
Plataforma open-source de ponta a ponta para avaliar, observar e melhorar aplicações de LLM e agentes de IA. Tracing · Evals · Simulations · Datasets · Gateway · Guardrails. Auto-hospedável. Apache 2.0.
Projetos e Recursos para ajudá-lo a se tornar um Desenvolvedor de IA melhor.
os recursos sobre a aplicação baseada em LLM com o padrão RAG
Crie, enriqueça e transforme conjuntos de dados usando modelos de IA sem código
Uma ferramenta poderosa para fuzzing automatizado de LLM. Ela foi projetada para ajudar desenvolvedores e pesquisadores de segurança a identificar e mitigar possíveis jailbreaks em suas APIs de LLM.
Um agente de auditoria de alinhamento capaz de explorar rapidamente hipóteses de alinhamento
Benchmark de código aberto para agentes de IA do navegador em tarefas diárias.
O Prompty facilita a criação, gerenciamento, depuração e avaliação de prompts de LLM para suas aplicações de IA. O Prompty é uma classe de ativos e um formato para prompts de LLM projetados para melhorar a observabilidade, a compreensibilidade e a portabilidade para os desenvolvedores.
Perguntas Frequentes
Qual é o repositório de #llm-evaluation mais popular no GitHub?
O projeto de código aberto de #llm-evaluation mais bem classificado no GitHub é ifixai-ai/iFixAi, com 46,592 estrelas. Auditoria independente de agentes de IA. Executada por humanos ou pelo próprio agente, para responder à pergunta mais crucial na economia dos agentes de IA: o agente está fazendo o que deveria fazer? Com o iFixAi, você pode obter essa resposta em menos de 120 segundos.
Quais linguagens de programação são mais usadas nos repositórios de #llm-evaluation?
Entre os projetos de #llm-evaluation mais bem classificados no GitHub, as linguagens de programação mais comuns são Python, Jupyter Notebook, TypeScript, Java.
Como é calculada a classificação dos repositórios de #llm-evaluation?
Acompanhamos 108 repositórios ativos de código aberto marcados com #llm-evaluation (com mais de 500 estrelas), totalizando 444,825 estrelas e uma média de 4,118 estrelas por repositório. As classificações são atualizadas diariamente a partir da API do GitHub.