#llm-security Repositories
Insgesamt 65 Repositories
Eine kuratierte Liste von großartigen Sicherheitstools, experimentellen Fällen oder anderen interessanten Dingen mit LLM oder GPT.
Deterministisches Betriebssystem, Sicherheitskernel und kausales Nervensystem für KI-Agenten.
JailbreakBench: Ein offener Robustheits-Benchmark für das Jailbreaking von Sprachmodellen [NeurIPS 2024 Datasets and Benchmarks Track]
Open-Source-Laufzeit-Sicherheitstool für KI-Agenten – überwacht und steuert KI-Agenten und erkennt böswillige Tool-Nutzung, Prompt-Injection und Richtlinienabweichungen in Echtzeit, bevor der Agent handelt.
Self-hosted Control Plane zur Laufzeit für KI-Agenten. Überwachen, mit menschlicher Freigabe (HITL) genehmigen oder bösartige Tool-Aufrufe blockieren, bevor sie ausgeführt werden – zum Schutz vor dem Abfluss von Geheimnissen, Prompt-Injection, Angriffen auf die Lieferkette und weiteren Risiken. Alles über ein lokales Dashboard. Agentenunabhängig (Claude, Codex, LangChain usw.).
Eine Enzyklopädie von Jailbreaking-Techniken, um KI-Modelle sicherer zu machen.
Ein trivialer programmatischer Llama 3 Jailbreak. Entschuldigung Zuck!
🛡️ CLI für Sicherheitsaudits von Model-Context-Protocol-Servern (MCP) — durchsucht KI-Agent-Konfigurationen nach Tool-Poisoning, Rug Pulls, fest codierten Geheimnissen, Command Injection und Risiken in der Lieferkette. Reines Python, bereit für SARIF und CI.
Dieses Repository bietet einen Benchmark für Prompt-Injection-Angriffe und -Abwehrmaßnahmen bei LLMs
Dieses Dokument stellt Open-Source-Projekte, wissenschaftliche Arbeiten, Leistungsbenchmarks und kommerzielle Lösungen (international und aus China) in den Bereichen Penetrationstests für KI, LLM-Red-Teaming, autonome offensive Agenten und Schwachstellenentdeckung zusammen. Ziel ist es, Forschenden, Sicherheitsingenieuren und Entscheidungsträgern in Unternehmen zu helfen, sich schnell einen ganzheitlichen Überblick zu verschaffen.