#llm-security Repository
65 repository in totale
Un elenco curato di fantastici strumenti di sicurezza, casi sperimentali o altre cose interessanti con LLM o GPT.
Sistema operativo deterministico, kernel di sicurezza e sistema nervoso causale per agenti di IA.
JailbreakBench: Un benchmark di robustezza aperto per il jailbreaking dei modelli linguistici [Traccia Datasets and Benchmarks di NeurIPS 2024]
Strumento di sicurezza open-source per agenti IA in runtime: monitora e controlla gli agenti IA, rilevando l'uso dannoso di strumenti, l'iniezione di prompt e la deriva delle policy in tempo reale, prima che l'agente agisca.
Emulazione di avversari open source per agenti IA e server MCP.
Control plane self-hosted in fase di esecuzione per agenti IA. Monitora, approva con supervisione umana (HITL) o blocca le chiamate agli strumenti non autorizzate prima che vengano eseguite, prevenendo fughe di segreti, prompt injection, attacchi alla catena di fornitura e altro, da una dashboard locale. Compatibile con qualsiasi agente (Claude, Codex, LangChain, ecc.).
Un'enciclopedia di tecniche di jailbreaking per rendere piรน sicuri i modelli di intelligenza artificiale.
๐ก๏ธ CLI per audit di sicurezza dei server Model Context Protocol (MCP): analizza le configurazioni degli agenti IA per individuare avvelenamento degli strumenti, rug pull, segreti hardcoded, command injection e rischi della catena di fornitura. Scritto in puro Python, pronto per SARIF e CI.
Questo repository fornisce un benchmark per gli attacchi di prompt injection e le difese negli LLM
Questo documento raccoglie progetti open source, articoli accademici, benchmark delle capacitร e soluzioni commerciali (internazionali e cinesi) nei settori dei penetration test sullโIA, del red teaming degli LLM, degli agenti offensivi autonomi e della scoperta delle vulnerabilitร , con lโobiettivo di aiutare ricercatori, ingegneri della sicurezza e responsabili delle decisioni aziendali a formarsi rapidamente una visione dโinsieme completa.