#ai-safety Repositórios
Descubra 53 repositórios ativos de código aberto no GitHub marcados com #ai-safety, acumulando um total de 169,967 estrelas (uma média de 3,206 por projeto). O líder deste tópico é ifixai-ai/iFixAi, com 46,592 estrelas.
53 repositórios no total
Auditoria independente de agentes de IA. Executada por humanos ou pelo próprio agente, para responder à pergunta mais crucial na economia dos agentes de IA: o agente está fazendo o que deveria fazer? Com o iFixAi, você pode obter essa resposta em menos de 120 segundos.
Uma plataforma full-stack de Red Teaming de IA que protege os ecossistemas de IA por meio de Agent Scan, Skills Scan, MCP Scan, AI Infra Scan e avaliação de jailbreaks de LLM.
Demonstração de um caso de uso de atendimento ao cliente implementado com o SDK de Agentes da OpenAI
Kit de Governança de Agentes de IA — Aplicação de políticas, identidade zero-trust, sandboxing de execução e engenharia de confiabilidade para agentes de IA autônomos. Abrange 10/10 OWASP Agentic Top 10.
🧠 Coleção selecionada de prompts de sistema para as principais ferramentas de IA. Perfeito para construtores de agentes de IA e engenheiros de prompts. Incluindo: ChatGPT, Claude, Perplexity, Manus, Claude-Code, Loveable, v0, Grok, same new, windsurf, notion, e MetaAI.
Kit de ferramentas de código aberto da Microsoft para red teaming de IA. Teste sistemas de IA generativa com verificações automatizadas, ataques adaptativos em várias etapas e uma interface web.
Uma lista selecionada de recursos incríveis de aprendizado de máquina responsável.
Inspect: Uma estrutura para avaliações de grandes modelos de linguagem
Verificação formal para IA: um verificador de provas baseado em Lean 4 + Dafny que detecta provas falsas de IA (manipulação de recompensas) e autoaperfeiçoamento recursivo (RSI) verificado para agentes de programação. IA para matemática, física e engenharia de software.
[NeurIPS 2026] Falhas de segurança em agentes de programação e LLMs de ponta. Ambientes de trabalho reproduzíveis para estudar quando agentes de IA geram dados inseguros durante a execução de tarefas.
Uma proteção pré-execução para agentes de programação com IA. Ela bloqueia comandos destrutivos do Git e do sistema de arquivos, além de tentativas comuns de acesso a arquivos confidenciais, antes que uma chamada de ferramenta seja executada. Compatível com Amp Code, Antigravity CLI, Claude Code, Codex, Cursor, DeepSeek Harness, Devin CLI, GitHub Copilot CLI, Grok Build, Hermes Agent, Kimi Code, OpenClaw, OpenCode e Pi.
AI Safety HOT: notícias, artigos e incidentes diários sobre segurança de IA em um só lugar — jailbreaks, injeção de prompts, alinhamento, avaliações e governança. Site, resumo diário, RSS e MCP.
RLHF Seguro: Alinhamento de Valor Restrito via Aprendizagem por Reforço Segura a partir de Feedback Humano
[JMLR 2026] UQLM: um pacote Python para detectar alucinações em grandes modelos de linguagem por meio da quantificação da incerteza
Um benchmark de evidências para decisões clínicas: extrair o único fato em que uma resposta se baseia e verificar se a ação do assistente acompanha as evidências. Desenvolvido com base no HealthBench.
Um mapa de pesquisa selecionado sobre o autoaperfeiçoamento recursivo (RSI): modelos, agentes, estruturas de execução, sistemas incorporados, P&D automatizada em IA, benchmarks e segurança.
📖 Uma lista selecionada de recursos dedicada à alucinação de modelos de linguagem grandes multimodais (MLLM).
Agentlens é uma plataforma de negociação de agentes confiável. Aqui, você pode encontrar rapidamente o agente que atende às suas necessidades e também pode publicar seu próprio agente para transformá-lo em seu ativo digital. Incentivamos todos a transformar suas áreas de especialização em agentes e convertê-los em ativos digitais, permitindo que outros vejam seus pontos fortes únicos.
Um framework web em Rust baseado no Axum, com kernels de aplicação verificáveis com Lean 4 que são executados em servidores, dispositivos embarcados bare-metal e GPUs, além de testes de segurança integrados.
Este é um repositório que visa fornecer atualizações sobre o status do 'jailbreak' do modelo de linguagem GPT da OpenAI.
Engenharia de Representação: Uma Abordagem de Cima para Baixo para Transparência de IA
FactCircuit: um ciclo auditável de verificação de alegações e evidências, com proveniência imutável, verificações em etapas, recuperação limitada e avaliação reproduzível.
Os artigos estão organizados de acordo com nosso levantamento: Evaluating Large Language Models: A Comprehensive Survey.
Rastreamento à prova de adulteração, controles de políticas e verificações cruzadas para agentes de IA: veja o que o agente fez e por quê.
Explorar prompts e técnicas de interpretação de papéis para contornar as restrições do modelo de IA.
Framework de red teaming e avaliação para agentes de IA, baseado em uma taxonomia ASI01–ASI10 inspirada na OWASP
Um centro/área de pesquisa para fazer jailbreak de LLMs e quebrar seus filtros de segurança.
Um repositório de recursos para desaprendizagem de máquina em grandes modelos de linguagem
Medindo quão bem agentes CLI como Claude Code ou Codex CLI podem fazer pós-treinamento de LLMs base em uma única GPU H100 em 10 horas
Plano de controle de execução auto-hospedado para agentes de IA. Monitore, aprove com intervenção humana (HITL) ou bloqueie chamadas maliciosas a ferramentas antes que sejam executadas, evitando vazamentos de segredos, injeção de prompt, ataques à cadeia de suprimentos e outros riscos, tudo em um painel local. Compatível com qualquer agente (Claude, Codex, LangChain etc.).
Execute agentes de IA em uma sandbox que restringe o que eles podem executar, ler e escrever, além dos recursos que podem acessar na rede. O Box combina o isolamento do sistema operacional com políticas Dogwood que negam o acesso por padrão e a injeção de credenciais, mantendo os segredos fora do agente. Escrito em Rust. Compatível com macOS em Apple silicon e Linux.
Jailbreaks de IA: 35 prompts de jailbreak prontos para copiar e colar, compatíveis com mais de 25 modelos de ponta e de pesos abertos — prompts de sistema, especificações AGENTS.md e arquivos Modelfile do Ollama. Criados para pesquisa em segurança de IA e testes de red team.
Guia completo para ajudar você a integrar a IA ao seu fluxo de trabalho, seja você iniciante ou experiente
PromptInject é uma estrutura que monta prompts de forma modular para fornecer uma análise quantitativa da robustez de LLMs contra ataques adversários de prompt. 🏆 Prêmio de Melhor Artigo no NeurIPS ML Safety Workshop 2022
Aplicação de políticas em tempo de execução para agentes de IA. Trilha de auditoria criptográfica, aprovações com intervenção humana e botão de desligamento de emergência. Nenhuma alteração no código.
Perguntas Frequentes
Qual é o repositório de #ai-safety mais popular no GitHub?
O projeto de código aberto de #ai-safety mais bem classificado no GitHub é ifixai-ai/iFixAi, com 46,592 estrelas. Auditoria independente de agentes de IA. Executada por humanos ou pelo próprio agente, para responder à pergunta mais crucial na economia dos agentes de IA: o agente está fazendo o que deveria fazer? Com o iFixAi, você pode obter essa resposta em menos de 120 segundos.
Quais linguagens de programação são mais usadas nos repositórios de #ai-safety?
Entre os projetos de #ai-safety mais bem classificados no GitHub, as linguagens de programação mais comuns são Python, TypeScript, Jupyter Notebook, Rust.
Como é calculada a classificação dos repositórios de #ai-safety?
Acompanhamos 53 repositórios ativos de código aberto marcados com #ai-safety (com mais de 500 estrelas), totalizando 169,967 estrelas e uma média de 3,206 estrelas por repositório. As classificações são atualizadas diariamente a partir da API do GitHub.