Git Stars Git Stars

#ai-safety Repositórios

Descubra 53 repositórios ativos de código aberto no GitHub marcados com #ai-safety, acumulando um total de 169,967 estrelas (uma média de 3,206 por projeto). O líder deste tópico é ifixai-ai/iFixAi, com 46,592 estrelas.

53
Total de Repositórios
169,967
Total de estrelas
3,206
Média de Estrelas/Repositório

53 repositórios no total

1
ifixai-ai/iFixAi

Auditoria independente de agentes de IA. Executada por humanos ou pelo próprio agente, para responder à pergunta mais crucial na economia dos agentes de IA: o agente está fazendo o que deveria fazer? Com o iFixAi, você pode obter essa resposta em menos de 120 segundos.

ifixai-ai
⭐ 46,592 Python 👤 ifixai-ai Organization 🕐 Atualizado 2026-11-20 📅 Criado 2026-04-27
2
meta-llama/llama3

Site oficial do Meta Llama 3 no GitHub

meta-llama
⭐ 29,268 Python 👤 meta-llama Organization 🕐 Atualizado 2025-01-26 📅 Criado 2024-03-15
3
Tencent/AI-Infra-Guard

Uma plataforma full-stack de Red Teaming de IA que protege os ecossistemas de IA por meio de Agent Scan, Skills Scan, MCP Scan, AI Infra Scan e avaliação de jailbreaks de LLM.

Tencent
⭐ 7,604 Python 👤 Tencent Organization 🕐 Atualizado 2026-11-20 📅 Criado 2024-12-25
4
openai/openai-cs-agents-demo

Demonstração de um caso de uso de atendimento ao cliente implementado com o SDK de Agentes da OpenAI

openai
⭐ 6,618 Python 👤 openai Organization 🕐 Atualizado 2025-12-18 📅 Criado 2025-06-14
5
microsoft/agent-governance-toolkit

Kit de Governança de Agentes de IA — Aplicação de políticas, identidade zero-trust, sandboxing de execução e engenharia de confiabilidade para agentes de IA autônomos. Abrange 10/10 OWASP Agentic Top 10.

microsoft
⭐ 6,586 Python 👤 microsoft Organization 🕐 Atualizado 2026-11-21 📅 Criado 2026-03-02
6
dontriskit/awesome-ai-system-prompts

🧠 Coleção selecionada de prompts de sistema para as principais ferramentas de IA. Perfeito para construtores de agentes de IA e engenheiros de prompts. Incluindo: ChatGPT, Claude, Perplexity, Manus, Claude-Code, Loveable, v0, Grok, same new, windsurf, notion, e MetaAI.

dontriskit
⭐ 6,302 TypeScript 👤 dontriskit User 🕐 Atualizado 2026-09-29 📅 Criado 2025-03-05
7
microsoft/PyRIT

Kit de ferramentas de código aberto da Microsoft para red teaming de IA. Teste sistemas de IA generativa com verificações automatizadas, ataques adaptativos em várias etapas e uma interface web.

microsoft
⭐ 5,003 Python 👤 microsoft Organization 🕐 Atualizado 2026-11-21 📅 Criado 2023-12-12
8
ogx-ai/llama-stack-apps

Componentes agentivos das APIs do Llama Stack

ogx-ai
⭐ 4,302 👤 ogx-ai Organization 🕐 Atualizado 2025-08-05 📅 Criado 2024-06-25
10
jphall663/awesome-machine-learning-interpretability

Uma lista selecionada de recursos incríveis de aprendizado de máquina responsável.

jphall663
⭐ 4,088 👤 jphall663 User 🕐 Atualizado 2026-06-03 📅 Criado 2018-06-21
11
UKGovernmentBEIS/inspect_ai

Inspect: Uma estrutura para avaliações de grandes modelos de linguagem

UKGovernmentBEIS
⭐ 3,302 Python 👤 UKGovernmentBEIS Organization 🕐 Atualizado 2026-11-20 📅 Criado 2023-11-14
13
sahibzada-allahyar/Formal-Verification-RSI

Verificação formal para IA: um verificador de provas baseado em Lean 4 + Dafny que detecta provas falsas de IA (manipulação de recompensas) e autoaperfeiçoamento recursivo (RSI) verificado para agentes de programação. IA para matemática, física e engenharia de software.

sahibzada-allahyar
⭐ 2,910 Python 👤 sahibzada-allahyar User 🕐 Atualizado 2026-10-22 📅 Criado 2025-02-22
14
wuyoscar/Internal-Safety-Collapse

[NeurIPS 2026] Falhas de segurança em agentes de programação e LLMs de ponta. Ambientes de trabalho reproduzíveis para estudar quando agentes de IA geram dados inseguros durante a execução de tarefas.

wuyoscar
⭐ 2,623 Python 👤 wuyoscar User 🕐 Atualizado 2026-11-16 📅 Criado 2026-03-01
15
kenryu42/cc-safety-net

Uma proteção pré-execução para agentes de programação com IA. Ela bloqueia comandos destrutivos do Git e do sistema de arquivos, além de tentativas comuns de acesso a arquivos confidenciais, antes que uma chamada de ferramenta seja executada. Compatível com Amp Code, Antigravity CLI, Claude Code, Codex, Cursor, DeepSeek Harness, Devin CLI, GitHub Copilot CLI, Grok Build, Hermes Agent, Kimi Code, OpenClaw, OpenCode e Pi.

kenryu42
⭐ 2,086 TypeScript 👤 kenryu42 User 🕐 Atualizado 2026-11-20 📅 Criado 2025-12-25
16
wuyoscar/AISafetyHot

AI Safety HOT: notícias, artigos e incidentes diários sobre segurança de IA em um só lugar — jailbreaks, injeção de prompts, alinhamento, avaliações e governança. Site, resumo diário, RSS e MCP.

wuyoscar
⭐ 2,079 TeX 👤 wuyoscar User 🕐 Atualizado 2026-11-21 📅 Criado 2026-10-01
17
centerforaisafety/hle

O Último Exame da Humanidade

centerforaisafety
⭐ 1,749 Python 👤 centerforaisafety Organization 🕐 Atualizado 2026-09-23 📅 Criado 2025-01-23
19
PKU-Alignment/safe-rlhf

RLHF Seguro: Alinhamento de Valor Restrito via Aprendizagem por Reforço Segura a partir de Feedback Humano

PKU-Alignment
⭐ 1,624 Python 👤 PKU-Alignment Organization 🕐 Atualizado 2025-11-24 📅 Criado 2023-05-15
20
decoderesearch/SAELens

Treinando Autoencoders Esparsos em Modelos de Linguagem

decoderesearch
⭐ 1,588 Python 👤 decoderesearch Organization 🕐 Atualizado 2026-11-20 📅 Criado 2023-11-29
21
valqore/valqore

Diretrizes de segurança para operações de nuvem e Kubernetes orientadas por IA

valqore
⭐ 1,568 Python 👤 valqore Organization 🕐 Atualizado 2026-09-05 📅 Criado 2026-03-04
23
OpenLMLab/MOSS-RLHF

Segredos de RLHF em Modelos de Linguagem Grandes Parte I: PPO

OpenLMLab
⭐ 1,408 Python 👤 OpenLMLab Organization 🕐 Atualizado 2024-03-03 📅 Criado 2023-07-05
24
harishsg993010/damn-vulnerable-MCP-server

Malditamente Vulnerável Servidor MCP

harishsg993010
⭐ 1,376 Python 👤 harishsg993010 User 🕐 Atualizado 2026-11-01 📅 Criado 2025-04-16
25
cvs-health/uqlm

[JMLR 2026] UQLM: um pacote Python para detectar alucinações em grandes modelos de linguagem por meio da quantificação da incerteza

cvs-health
⭐ 1,215 Python 👤 cvs-health Organization 🕐 Atualizado 2026-11-08 📅 Criado 2025-04-17
26
xinxuxin/keystone-bench

Um benchmark de evidências para decisões clínicas: extrair o único fato em que uma resposta se baseia e verificar se a ação do assistente acompanha as evidências. Desenvolvido com base no HealthBench.

xinxuxin
⭐ 1,130 Python 👤 xinxuxin User 🕐 Atualizado 2026-10-19 📅 Criado 2026-09-07
27
lobehub/awesome-rsi

Um mapa de pesquisa selecionado sobre o autoaperfeiçoamento recursivo (RSI): modelos, agentes, estruturas de execução, sistemas incorporados, P&D automatizada em IA, benchmarks e segurança.

lobehub
⭐ 1,073 👤 lobehub Organization 🕐 Atualizado 2026-11-20 📅 Criado 2026-08-11
28
showlab/Awesome-MLLM-Hallucination

📖 Uma lista selecionada de recursos dedicada à alucinação de modelos de linguagem grandes multimodais (MLLM).

showlab
⭐ 1,044 👤 showlab Organization 🕐 Atualizado 2025-09-27 📅 Criado 2023-12-10
29
ZhangJinHaHaHa/AgentLens

Agentlens é uma plataforma de negociação de agentes confiável. Aqui, você pode encontrar rapidamente o agente que atende às suas necessidades e também pode publicar seu próprio agente para transformá-lo em seu ativo digital. Incentivamos todos a transformar suas áreas de especialização em agentes e convertê-los em ativos digitais, permitindo que outros vejam seus pontos fortes únicos.

ZhangJinHaHaHa
⭐ 1,013 TypeScript 👤 ZhangJinHaHaHa User 🕐 Atualizado 2026-08-24 📅 Criado 2026-04-15
30
h5i-dev/h5i

Um framework web em Rust baseado no Axum, com kernels de aplicação verificáveis com Lean 4 que são executados em servidores, dispositivos embarcados bare-metal e GPUs, além de testes de segurança integrados.

h5i-dev
⭐ 936 Rust 👤 h5i-dev Organization 🕐 Atualizado 2026-11-20 📅 Criado 2026-03-11
31
tg12/gpt_jailbreak_status

Este é um repositório que visa fornecer atualizações sobre o status do 'jailbreak' do modelo de linguagem GPT da OpenAI.

tg12
⭐ 934 HTML 👤 tg12 User 🕐 Atualizado 2026-05-16 📅 Criado 2023-03-01
32
andyzoujm/representation-engineering

Engenharia de Representação: Uma Abordagem de Cima para Baixo para Transparência de IA

andyzoujm
⭐ 931 Jupyter Notebook 👤 andyzoujm User 🕐 Atualizado 2024-08-14 📅 Criado 2023-09-26
33
superwesleyhys-ux/factcircuit

FactCircuit: um ciclo auditável de verificação de alegações e evidências, com proveniência imutável, verificações em etapas, recuperação limitada e avaliação reproduzível.

superwesleyhys-ux
⭐ 926 Python 👤 superwesleyhys-ux User 🕐 Atualizado 2026-11-13 📅 Criado 2026-09-06
34
tjunlp-lab/Awesome-LLMs-Evaluation-Papers

Os artigos estão organizados de acordo com nosso levantamento: Evaluating Large Language Models: A Comprehensive Survey.

tjunlp-lab
⭐ 791 👤 tjunlp-lab User 🕐 Atualizado 2024-05-08 📅 Criado 2023-10-29
35
Cygnux-Labs/Tracekit

Rastreamento à prova de adulteração, controles de políticas e verificações cruzadas para agentes de IA: veja o que o agente fez e por quê.

Cygnux-Labs
⭐ 759 Python 👤 Cygnux-Labs Organization 🕐 Atualizado 2026-11-21 📅 Criado 2026-09-26
37
l0gicx/ai-model-bypass

Explorar prompts e técnicas de interpretação de papéis para contornar as restrições do modelo de IA.

l0gicx
⭐ 722 👤 l0gicx User 🕐 Atualizado 2025-10-04 📅 Criado 2025-05-21
39
AgentSafeLabs/safelabs-eval

Framework de red teaming e avaliação para agentes de IA, baseado em uma taxonomia ASI01–ASI10 inspirada na OWASP

AgentSafeLabs
⭐ 713 Python 👤 AgentSafeLabs Organization 🕐 Atualizado 2026-11-06 📅 Criado 2026-05-25
40
lalipa2003-arch/JailbreakHub

Um centro/área de pesquisa para fazer jailbreak de LLMs e quebrar seus filtros de segurança.

lalipa2003-arch
⭐ 687 Roff 👤 lalipa2003-arch User 🕐 Atualizado 2026-11-20 📅 Criado 2026-09-27
41
chrisliu298/awesome-llm-unlearning

Um repositório de recursos para desaprendizagem de máquina em grandes modelos de linguagem

chrisliu298
⭐ 640 👤 chrisliu298 User 🕐 Atualizado 2026-10-06 📅 Criado 2024-03-27
42
aisa-group/PostTrainBench

Medindo quão bem agentes CLI como Claude Code ou Codex CLI podem fazer pós-treinamento de LLMs base em uma única GPU H100 em 10 horas

aisa-group
⭐ 627 Python 👤 aisa-group Organization 🕐 Atualizado 2026-11-20 📅 Criado 2025-11-28
43
PrismorSec/prismor

Plano de controle de execução auto-hospedado para agentes de IA. Monitore, aprove com intervenção humana (HITL) ou bloqueie chamadas maliciosas a ferramentas antes que sejam executadas, evitando vazamentos de segredos, injeção de prompt, ataques à cadeia de suprimentos e outros riscos, tudo em um painel local. Compatível com qualquer agente (Claude, Codex, LangChain etc.).

PrismorSec
⭐ 585 Python 👤 PrismorSec Organization 🕐 Atualizado 2026-11-21 📅 Criado 2026-02-20
44
strands-agents/box

Execute agentes de IA em uma sandbox que restringe o que eles podem executar, ler e escrever, além dos recursos que podem acessar na rede. O Box combina o isolamento do sistema operacional com políticas Dogwood que negam o acesso por padrão e a injeção de credenciais, mantendo os segredos fora do agente. Escrito em Rust. Compatível com macOS em Apple silicon e Linux.

strands-agents
⭐ 561 Rust 👤 strands-agents Organization 🕐 Atualizado 2026-11-21 📅 Criado 2026-10-02
45
PacificAI/langtest

Fornecer modelos de linguagem seguros e eficazes

PacificAI
⭐ 560 Python 👤 PacificAI Organization 🕐 Atualizado 2026-11-20 📅 Criado 2022-11-18
46
Alejandros17487/ai-jailbreaks

Jailbreaks de IA: 35 prompts de jailbreak prontos para copiar e colar, compatíveis com mais de 25 modelos de ponta e de pesos abertos — prompts de sistema, especificações AGENTS.md e arquivos Modelfile do Ollama. Criados para pesquisa em segurança de IA e testes de red team.

Alejandros17487
⭐ 559 👤 Alejandros17487 User 🕐 Atualizado 2026-10-21 📅 Criado 2026-10-21
47
xop01/ai_goodpractice

Guia completo para ajudar você a integrar a IA ao seu fluxo de trabalho, seja você iniciante ou experiente

xop01
⭐ 556 👤 xop01 User 🕐 Atualizado 2026-10-02 📅 Criado 2026-10-02
48
opendilab/LLMRiddles

Reprodução/Demonstração de Código Aberto do Jogo de Adivinhas LLM

opendilab
⭐ 549 Python 👤 opendilab Organization 🕐 Atualizado 2024-07-30 📅 Criado 2023-11-07
49
agencyenterprise/PromptInject

PromptInject é uma estrutura que monta prompts de forma modular para fornecer uma análise quantitativa da robustez de LLMs contra ataques adversários de prompt. 🏆 Prêmio de Melhor Artigo no NeurIPS ML Safety Workshop 2022

agencyenterprise
⭐ 529 Python 👤 agencyenterprise Organization 🕐 Atualizado 2026-04-27 📅 Criado 2022-10-25
50
Justin0504/Aegis

Aplicação de políticas em tempo de execução para agentes de IA. Trilha de auditoria criptográfica, aprovações com intervenção humana e botão de desligamento de emergência. Nenhuma alteração no código.

Justin0504
⭐ 524 TypeScript 👤 Justin0504 User 🕐 Atualizado 2026-10-31 📅 Criado 2026-03-04

Perguntas Frequentes

1

Qual é o repositório de #ai-safety mais popular no GitHub?

O projeto de código aberto de #ai-safety mais bem classificado no GitHub é ifixai-ai/iFixAi, com 46,592 estrelas. Auditoria independente de agentes de IA. Executada por humanos ou pelo próprio agente, para responder à pergunta mais crucial na economia dos agentes de IA: o agente está fazendo o que deveria fazer? Com o iFixAi, você pode obter essa resposta em menos de 120 segundos.

2

Quais linguagens de programação são mais usadas nos repositórios de #ai-safety?

Entre os projetos de #ai-safety mais bem classificados no GitHub, as linguagens de programação mais comuns são Python, TypeScript, Jupyter Notebook, Rust.

3

Como é calculada a classificação dos repositórios de #ai-safety?

Acompanhamos 53 repositórios ativos de código aberto marcados com #ai-safety (com mais de 500 estrelas), totalizando 169,967 estrelas e uma média de 3,206 estrelas por repositório. As classificações são atualizadas diariamente a partir da API do GitHub.