#llm-security Dépôts
65 dépôts au total
Une liste organisée d'outils de sécurité impressionnants, de cas expérimentaux ou d'autres choses intéressantes avec LLM ou GPT.
Système d’exploitation déterministe, noyau de sécurité et système nerveux causal pour agents d’IA.
JailbreakBench : Une référence de robustesse ouverte pour le contournement (jailbreaking) des modèles de langage [Piste Datasets and Benchmarks de NeurIPS 2024]
Outil de sécurité open-source pour agents IA en temps réel - surveille et contrôle les agents IA, détectant l'utilisation malveillante d'outils, les injections de prompts et les dérives de politiques en temps réel, avant que l'agent n'agisse.
Émulation d'adversaires open source pour les agents IA et les serveurs MCP.
Plan de contrôle d’exécution auto-hébergé pour les agents d’IA. Surveillez, approuvez avec intervention humaine (HITL) ou bloquez les appels d’outils malveillants avant leur exécution afin d’éviter les fuites de secrets, les injections de prompt, les attaques de la chaîne d’approvisionnement et autres risques, depuis un tableau de bord local. Compatible avec tous les agents (Claude, Codex, LangChain, etc.).
Une encyclopédie des techniques de jailbreaking pour rendre les modèles d'IA plus sûrs.
🛡️ Outil CLI d’audit de sécurité pour les serveurs du Model Context Protocol (MCP) — analyse les configurations des agents IA pour détecter l’empoisonnement d’outils, les retraits frauduleux, les secrets codés en dur, l’injection de commandes et les risques liés à la chaîne d’approvisionnement. En pur Python, compatible avec SARIF et l’intégration continue.
Ce dépôt fournit une référence pour les attaques par injection de prompts et les défenses dans les LLM
Ce document recense des projets open source, des articles universitaires, des évaluations comparatives des capacités et des solutions commerciales (internationales et chinoises) dans les domaines des tests d’intrusion appliqués à l’IA, du red teaming des LLM, des agents offensifs autonomes et de la découverte de vulnérabilités, afin d’aider les chercheurs, les ingénieurs en sécurité et les décideurs d’entreprise à se forger rapidement une vision d’ensemble.