#llm-security Repositorios
65 repositorios en total
Una lista curada de geniales herramientas de seguridad, casos experimentales u otras cosas interesantes con LLM o GPT.
Sistema operativo determinista, núcleo de seguridad y sistema nervioso causal para agentes de IA.
JailbreakBench: Un benchmark de robustez abierto para el jailbreaking de modelos de lenguaje [Track de Datasets y Benchmarks de NeurIPS 2024]
Herramienta de seguridad de tiempo de ejecución para agentes de IA de código abierto: supervisa y controla a los agentes de IA, detectando el uso malintencionado de herramientas, la inyección de prompts y la desviación de políticas en tiempo real, antes de que el agente actúe.
Emulación de adversarios de código abierto para agentes de IA y servidores MCP.
Plano de control en tiempo de ejecución autohospedado para agentes de IA. Supervisa, aprueba con intervención humana (HITL) o bloquea llamadas maliciosas a herramientas antes de que se ejecuten, para evitar filtraciones de secretos, inyección de prompts, ataques a la cadena de suministro y otros riesgos, desde un panel local. Compatible con cualquier agente (Claude, Codex, LangChain, etc.).
Una enciclopedia de técnicas de jailbreaking para hacer que los modelos de IA sean más seguros.
🛡️ CLI de auditoría de seguridad para servidores del Protocolo de Contexto del Modelo (MCP): analiza las configuraciones de agentes de IA en busca de envenenamiento de herramientas, estafas de salida, secretos codificados, inyección de comandos y riesgos en la cadena de suministro. Solo Python, compatible con SARIF y CI.
Este repositorio proporciona un punto de referencia para los ataques y las defensas contra la inyección de prompts en los LLM
Este documento reúne proyectos de código abierto, artículos académicos, evaluaciones comparativas de capacidades y soluciones comerciales (internacionales y de China) en los ámbitos de las pruebas de penetración de IA, el red teaming de LLM, los agentes ofensivos autónomos y el descubrimiento de vulnerabilidades, con el objetivo de ayudar a investigadores, ingenieros de seguridad y responsables de la toma de decisiones empresariales a formarse rápidamente una visión integral.