#llm-security Repositórios
65 repositórios no total
Uma lista selecionada de ferramentas de segurança incríveis, casos experimentais ou outras coisas interessantes com LLM ou GPT.
Sistema operacional determinístico, kernel de segurança e sistema nervoso causal para agentes de IA.
JailbreakBench: Um Benchmark de Robustez Aberto para Jailbreaking de Modelos de Linguagem [NeurIPS 2024 Datasets and Benchmarks Track]
Ferramenta de segurança de tempo de execução para agentes de IA de código aberto - monitora e controla agentes de IA, detectando uso malicioso de ferramentas, injeção de prompt e desvio de política em tempo real, antes que o agente aja.
Emulação de adversários de código aberto para agentes de IA e servidores MCP.
Plano de controle de execução auto-hospedado para agentes de IA. Monitore, aprove com intervenção humana (HITL) ou bloqueie chamadas maliciosas a ferramentas antes que sejam executadas, evitando vazamentos de segredos, injeção de prompt, ataques à cadeia de suprimentos e outros riscos, tudo em um painel local. Compatível com qualquer agente (Claude, Codex, LangChain etc.).
Uma enciclopédia de técnicas de jailbreaking para tornar os modelos de IA mais seguros.
🛡️ CLI de auditoria de segurança para servidores do Model Context Protocol (MCP) — analisa configurações de agentes de IA em busca de envenenamento de ferramentas, rug pulls, segredos embutidos no código, injeção de comandos e riscos na cadeia de suprimentos. Feito em Python puro, pronto para SARIF e CI.
Este repositório fornece um benchmark para ataques de injeção de prompts e defesas em LLMs
Este documento reúne projetos de código aberto, artigos acadêmicos, benchmarks de capacidades e soluções comerciais (internacionais e da China) nas áreas de testes de intrusão com IA, red teaming de LLMs, agentes ofensivos autônomos e descoberta de vulnerabilidades, com o objetivo de ajudar pesquisadores, engenheiros de segurança e tomadores de decisão empresariais a formar rapidamente uma visão holística.