#evaluation Repositórios
Descubra 89 repositórios ativos de código aberto no GitHub marcados com #evaluation, acumulando um total de 369,872 estrelas (uma média de 4,155 por projeto). O líder deste tópico é lm-sys/FastChat, com 39,550 estrelas.
89 repositórios no total
Uma plataforma aberta para treinamento, serviço e avaliação de grandes modelos de linguagem. Repositório de lançamento para Vicuna e Chatbot Arena.
Plataforma open-source de conhecimento LLM: transforme documentos brutos em um RAG consultável, um agente de raciocínio autônomo e uma Wiki auto-mantida.
🪢 Plataforma de engenharia de IA de código aberto: AI Gateway, observabilidade de agentes, avaliações e gestão de prompts e competências, baseada em OpenTelemetry. Uma plataforma aberta para cada chamada de IA e cada agente. Aloje-a por conta própria ou use o Langfuse Cloud.
A plataforma de engenharia de IA open source para agentes, LLMs e modelos de ML. O MLflow permite que equipes de todos os tamanhos depurem, avaliem, monitorem e otimizem aplicações de IA de qualidade de produção enquanto controlam custos e gerenciam o acesso a modelos e dados.
Teste seus prompts, agentes e RAGs. Red teaming/pentesting/verificação de vulnerabilidades para IA. Compare o desempenho de GPT, Claude, Gemini, DeepSeek e mais. Configurações declarativas simples com integração de linha de comando e CI/CD. Utilizado pela OpenAI e Anthropic.
Depure, avalie e monitore suas aplicações LLM, sistemas RAG e fluxos de trabalho baseados em agentes com rastreamento abrangente, avaliações automatizadas e dashboards prontos para produção.
OpenCompass é uma plataforma de avaliação de grandes modelos de linguagem (LLMs) que oferece suporte a uma ampla variedade de modelos da OpenAI, Anthropic, Gemini, Qwen, GLM, DeepSeek etc., em mais de 100 conjuntos de dados que abrangem conhecimento, raciocínio, programação, ciência, linguagem, contexto longo e segurança.
达尔文.skill —— Um sistema que evolui infinitamente suas Skills: avaliação→melhoria→teste→manter ou rollback | Otimização autônoma de skills inspirada em Autoresearch para Claude Code. Avaliar, melhorar, testar, manter ou reverter.
🧊 Plataforma de observabilidade de LLM de código aberto. Uma linha de código para monitorar, avaliar e experimentar. YC W23 🍓
Plataforma de Otimização de Agentes de IA de Próxima Geração: Cozeloop aborda os desafios no desenvolvimento de agentes de IA, fornecendo recursos de gerenciamento de ciclo de vida completo, desde o desenvolvimento, depuração e avaliação até o monitoramento.
Construir, Avaliar e Otimizar Sistemas de IA. Inclui avaliações (evals), RAG, agentes, ajuste fino, geração de dados sintéticos, gerenciamento de conjuntos de dados, MCP e muito mais.
Observabilidade e avaliações de agentes de código aberto para equipes de plataformas de IA. Rastreie, teste, roteie e governe cada agente e assistente de programação da empresa.
Ferramenta de Avaliação Multimodal One-for-All para Tarefas de Texto, Imagem, Vídeo e Áudio
Kit de ferramentas de avaliação de código aberto para grandes modelos de multimodalidade (LMMs), com suporte para mais de 220 LMMs e mais de 80 benchmarks
Framework multinível para avaliar habilidades e plugins de agentes de IA, com critérios de qualidade, análise de segurança, verificações de compatibilidade com o ambiente de testes, detecção de sobreposição semântica, geração de conjuntos de dados sintéticos para avaliação e avaliação de agentes em tempo real, que mede como as habilidades afetam o comportamento do agente. Inclui modelos de CI reutilizáveis que levam todas as verificações a qualquer repositório.
Um framework simplificado e personalizável para avaliação eficiente e benchmarking de desempenho de grandes modelos (LLM, VLM, AIGC).
MTEB: Avaliação de ponta de embeddings em diferentes idiomas e modalidades
Laminar - plataforma de observabilidade de código aberto construída especificamente para agentes de IA. YC S24.
SuperCLUE: Padrão Abrangente para Modelos de Fundação em Chinês | A Benchmark for Foundation Models in Chinese
Klipse é um plugin JavaScript para incorporar trechos de código interativos em blogs de tecnologia.
Um ambiente de programação visual de código aberto para testar prompts em LLMs.
YAO = Obtendo Resultados de IA. Um sistema rigoroso de engenharia, avaliação, governança e portabilidade para habilidades de agente reutilizáveis.
Lighteval é seu kit de ferramentas completo para avaliar LLMs em vários backends
🤗 Evaluate: Uma biblioteca para avaliar facilmente modelos e conjuntos de dados de aprendizado de máquina.
RAG Integrado: Combinação e fusão de GraphRAG, LightRAG e Neo4j-llm-graph-builder para a construção e busca de grafos de conhecimento; integração da tecnologia DeepSearch para viabilizar a inferência RAG de domínio privado; e criação de uma estrutura de avaliação personalizada focada em GraphRAG.
UpTrain é uma plataforma unificada de código aberto para avaliar e melhorar aplicações de IA Generativa. Fornecemos notas para mais de 20 verificações pré-configuradas (cobrindo casos de uso de linguagem, código e embeddings), realizamos análise da causa raiz em casos de falha e oferecemos insights sobre como resolvê-los.
Plataforma de teste e avaliação para conversar, inspecionar e depurar servidores MCP, aplicativos MCP e aplicativos ChatGPT.
O fluxo de trabalho Fable: como Claude Fable 5 funcionou, destilado em habilidades que qualquer modelo pode executar, com a avaliação que o mantém honesto. Pense / aja / prove.
📰 Artigos e blogs de leitura obrigatória sobre Modelagem de Longo Contexto baseada em LLM 🔥
Compartilhando tanto insights práticos quanto conhecimento teórico sobre a avaliação de LLMs que reunimos ao gerenciar o Open LLM Leaderboard e projetar o lighteval!
Avalanche: uma Biblioteca de Ponta a Ponta para Aprendizagem Contínua baseada em PyTorch.
:cloud: :rocket: :bar_chart: :chart_with_upwards_trend: Avaliando o estado da arte em IA
Um avaliador automático para modelos de linguagem que seguem instruções. Validado por humanos, de alta qualidade, barato e rápido.
Um framework Go para construir sistemas de agentes de produção com fluxos de trabalho em grafo, ferramentas, memória, A2A, AG-UI, MCP, avaliação e observabilidade.
(IROS 2020, ECCVW 2020) Implementação Oficial em Python para "Rastreamento 3D de Múltiplos Objetos: Uma Linha de Base e Novas Métricas de Avaliação"
WFGY está se dirigindo ao WFGY 5.0 Polaris Protocol, uma grande versão de código aberto para raciocínio de IA, RAG, agentes e fluxos de trabalho do mundo real. Inclui Problem Map, Global Debug Card, WFGY 4.0 e o Easter Egg do CFV.
Grandes Modelos de Linguagem para Saúde Mental (LLM x Saúde Mental), Pré e Pós-treinamento, Conjunto de Dados, Avaliação, Implementação e RAG, com modelos das séries InternLM / Qwen / Baichuan / DeepSeek / Mixtral / LLama / GLM
A página oficial do GitHub para o artigo de revisão "A Survey on Evaluation of Large Language Models".
Código de avaliação para várias métricas não supervisionadas automatizadas para Geração de Linguagem Natural.
KernelBench: Os LLMs Conseguem Escrever Kernels de GPU? - Benchmark + Toolkit com Torch -> CUDA (+ mais DSLs)
Benchmark de código aberto para agentes de IA do navegador em tarefas diárias.
Uma estrutura para diagnóstico abrangente e otimização de agentes usando interações sintéticas simuladas e realistas
Perguntas Frequentes
Qual é o repositório de #evaluation mais popular no GitHub?
O projeto de código aberto de #evaluation mais bem classificado no GitHub é lm-sys/FastChat, com 39,550 estrelas. Uma plataforma aberta para treinamento, serviço e avaliação de grandes modelos de linguagem. Repositório de lançamento para Vicuna e Chatbot Arena.
Quais linguagens de programação são mais usadas nos repositórios de #evaluation?
Entre os projetos de #evaluation mais bem classificados no GitHub, as linguagens de programação mais comuns são Python, TypeScript, Jupyter Notebook, Go.
Como é calculada a classificação dos repositórios de #evaluation?
Acompanhamos 89 repositórios ativos de código aberto marcados com #evaluation (com mais de 500 estrelas), totalizando 369,872 estrelas e uma média de 4,155 estrelas por repositório. As classificações são atualizadas diariamente a partir da API do GitHub.