#llm-evaluation Repositórios
108 repositórios no total
Um ambiente não-saturante e de final aberto para a avaliação de LLMs no Factorio
[JMLR 2026] UQLM: um pacote Python para detectar alucinações em grandes modelos de linguagem por meio da quantificação da incerteza
Uma coleção de notebooks/receitas que demonstram casos de uso de modelos de código aberto com Together AI.
Weave é um kit de ferramentas para o desenvolvimento de aplicações com inteligência artificial, construído pela Weights & Biases.
Um benchmark de evidências para decisões clínicas: extrair o único fato em que uma resposta se baseia e verificar se a ação do assistente acompanha as evidências. Desenvolvido com base no HealthBench.
CI/CD nativo de traces para agentes de IA — falhas em produção tornam-se testes de regressão que bloqueiam o PR. Detecção e agrupamento automáticos, conversão em casos herméticos e reprodução no CI por US$ 0.
AutoEvals é uma ferramenta para avaliar de forma rápida e fácil as saídas de modelos de IA usando as melhores práticas.
OrcaReplay — Viagem no tempo para agentes de IA. Grave, reproduza, crie ramificações e depure qualquer execução de agente com qualquer modelo. Desenvolvido pela equipe da OrcaRouter.ai.
A pilha de melhoria contínua para agentes. Nossos dados de ambiente e avaliações impulsionam a melhoria e o monitoramento de agentes.
Uma biblioteca selecionada e direta dos melhores recursos para construir e avaliar agentes de IA — artigos, blogs, palestras, ferramentas, benchmarks. Mantida por BenchFlow.
Experimentos com modelos locais, bem como modelos disponíveis via uma API
FactCircuit: um ciclo auditável de verificação de alegações e evidências, com proveniência imutável, verificações em etapas, recuperação limitada e avaliação reproduzível.
[ICLR 2025 Oral] Spider 2.0: Avaliando Modelos de Linguagem em Fluxos de Trabalho Text-to-SQL Empresariais do Mundo Real
CI/CD nativo de traces para agentes de IA: avalie traces de produção, agrupe falhas, transforme-as em testes de regressão reproduzíveis e bloqueie PRs que causem regressões. Pode ser hospedado por conta própria.
Um executor de testes para habilidades de agentes de IA no estilo agentskills.io
Os artigos estão organizados de acordo com nosso levantamento: Evaluating Large Language Models: A Comprehensive Survey.
O GAOKAO-Bench é uma estrutura de avaliação que utiliza questões do GAOKAO como um conjunto de dados para avaliar grandes modelos de linguagem.
Infraestrutura de código aberto que transforma arquivos SKILL.md dispersos em corpora de habilidades de agentes selecionados e prontos para recuperação, incluindo ferramentas de recuperação e avaliação.
Awesome-LLM-Eval: uma lista selecionada de ferramentas, conjuntos de dados/benchmarks, demonstrações, placares, artigos, documentos e modelos, principalmente para Avaliação em LLMs. Uma lista selecionada de ferramentas, benchmarks/dados, demonstrações, placares e grandes modelos, voltada principalmente para a avaliação de LLMs fundamentais, com o objetivo de explorar os limites técnicos da IA generativa.
Tutorial em chinês de Stanford CS329Z Engineering AI Agents: um curso de agentes de IA para desenvolvedores Python, com 19 aulas e 4 projetos práticos, que aborda LLMs, RAG, chamadas de ferramentas, memória, sistemas multiagentes, avaliação e segurança. Markdown completo e HTML para uso online e offline. Notas do curso em chinês.
Artigos incríveis envolvendo LLMs nas Ciências Sociais.
Benchmark de avaliação com foco industrial para LLMs no domínio de DevOps/AIOps.
Conjunto de dados e benchmark para RAG em documentos internos da empresa.
[ICML 2024] TrustLLM: avaliação da confiabilidade de LLMs em termos de veracidade, segurança, equidade, robustez, privacidade e ética. Kit de ferramentas Python/CLI para modelos locais, APIs compatíveis e orquestração de agentes de IA.
Um Projeto de Aprendizagem por Reforço em Larga Escala de Código Aberto para Agentes de Busca
MCP-Universe é um framework abrangente projetado para treinamento RL, benchmarking e desenvolvimento de agentes de IA para uso geral de ferramentas.
O repositório oficial do artigo, LLMs-as-Judges: Um levantamento abrangente sobre métodos de avaliação baseados em LLM.
Gateway MCP e servidores MCP com OAuth. Agente LangGraph: memória, avaliação/acompanhamento, proteção de informações pessoais identificáveis (PII) e redução do contexto. Guia de início rápido com Docker para agentes empresariais.
Uma enciclopédia de técnicas de jailbreaking para tornar os modelos de IA mais seguros.
Agente de pesquisa de ações com IA, com fluxos de trabalho resilientes, RAG fundamentado em evidências, relatórios versionados e avaliação automatizada da qualidade.
Este é o repositório do HaluEval, um benchmark de avaliação de alucinação em larga escala para Modelos de Linguagem Grandes.