#ai-safety Repositories
Entdecke 53 aktive Open-Source-GitHub-Repositories, die mit #ai-safety getaggt sind und insgesamt 169,967 Sterne gesammelt haben (durchschnittlich 3,206 Sterne pro Projekt). Spitzenreiter in diesem Themenbereich ist ifixai-ai/iFixAi mit 46,592 Sternen.
Insgesamt 53 Repositories
Unabhängige Prüfung von KI-Agenten. Durchgeführt von Menschen oder dem Agenten selbst, um die wichtigste Frage in der KI-Agenten-Ökonomie zu beantworten: Tut der Agent das, was er tun soll? Mit iFixAi erhalten Sie diese Antwort in weniger als 120 Sekunden.
Eine Full-Stack-Plattform für KI-Red-Teaming, die KI-Ökosysteme durch Agent Scan, Skills Scan, MCP Scan, AI Infra Scan und die Bewertung von LLM-Jailbreaks schützt.
Demo eines Kundenservice-Anwendungsfalls, der mit dem OpenAI Agents SDK implementiert wurde
AI-Agent-Governance-Toolkit — Richtlinienvollzug, Zero-Trust-Identität, Ausführungs-Sandboxing und Zuverlässigkeitsengineering für autonome AI-Agenten. Umfasst 10/10 OWASP Agentic Top 10.
🧠 Kuratorische Sammlung von System-Prompts für Top-KI-Tools. Perfekt für KI-Agenten-Entwickler und Prompt-Ingenieure. Einschließlich: ChatGPT, Claude, Perplexity, Manus, Claude-Code, Loveable, v0, Grok, same new, windsurf, notion und MetaAI.
Open-Source-Toolkit von Microsoft für KI-Red-Teaming. Testen Sie generative KI-Systeme mit automatisierten Scans, adaptiven Angriffen über mehrere Runden und einer Weboberfläche.
Eine kuratierte Liste toller verantwortungsvoller Machine-Learning-Ressourcen.
Formale Verifikation für KI: ein auf Lean 4 + Dafny basierender Beweisprüfer, der gefälschte KI-Beweise (Reward Hacking) erkennt, sowie verifizierte rekursive Selbstverbesserung (RSI) für Programmieragenten. KI für Mathematik, Physik und Softwareentwicklung.
[NeurIPS 2026] Sicherheitsversagen bei Programmieragenten und führenden LLMs. Reproduzierbare Arbeitsumgebungen zur Untersuchung, wann KI-Agenten bei der Erledigung von Aufgaben unsichere Daten erzeugen.
Ein Schutzmechanismus für KI-Programmieragenten, der vor der Ausführung greift. Er blockiert destruktive Git- und Dateisystembefehle sowie häufige Versuche, auf sensible Dateien zuzugreifen, bevor ein Tool-Aufruf ausgeführt wird. Unterstützt Amp Code, Antigravity CLI, Claude Code, Codex, Cursor, DeepSeek Harness, Devin CLI, GitHub Copilot CLI, Grok Build, Hermes Agent, Kimi Code, OpenClaw, OpenCode und Pi.
AI Safety HOT: tägliche Nachrichten, Fachartikel und Vorfälle zur KI-Sicherheit an einem Ort — Jailbreaks, Prompt-Injection, Alignment, Evaluationen und Governance. Website, tägliche Zusammenfassung, RSS und MCP.
Sichere RLHF: Konzernierte Wertausrichtung durch sicheres Reinforcement Learning aus menschlichem Feedback
Sicherheitsorientierte Leitplanken für KI-gestützte Cloud- und Kubernetes-Vorgänge
[JMLR 2026] UQLM: Ein Python-Paket zur Erkennung von Halluzinationen großer Sprachmodelle mithilfe der Unsicherheitsquantifizierung
Ein Benchmark für klinische Entscheidungen und Evidenz: die eine Tatsache herausarbeiten, auf der eine Antwort beruht, und prüfen, ob sich die Handlung des Assistenten entsprechend der Evidenz verändert. Auf HealthBench aufgebaut.
Eine kuratierte Forschungsübersicht zur rekursiven Selbstverbesserung (RSI): Modelle, Agenten, Harnesses, verkörperte Systeme, automatisierte KI-Forschung und -Entwicklung, Benchmarks und Sicherheit.
📖 Eine kuratierte Liste von Ressourcen, die sich der Halluzination von multimodalen großen Sprachmodellen (MLLM) widmen.
Agentlens ist eine vertrauenswürdige Handelsplattform für Agenten. Hier können Sie schnell den Agenten finden, der Ihren Anforderungen entspricht, und Sie können auch Ihren eigenen Agenten veröffentlichen, um ihn in Ihr digitales Asset zu verwandeln. Wir ermutigen jeden dazu, seine Fachgebiete in Agenten umzuwandeln und sie zu digitalen Assets zu machen, damit andere Ihre einzigartigen Stärken sehen können.
Ein auf Axum basierendes Rust-Webframework mit Lean-4-verifizierbaren Anwendungskernen, die auf Servern, Bare-Metal-Einbettgeräten und GPUs laufen, sowie integrierten Sicherheitstests.
Dies ist ein Repository, das darauf abzielt, Updates zum Status des Jailbreaks des OpenAI GPT-Sprachmodells bereitzustellen.
Repräsentations-Engineering: Ein Top-Down-Ansatz für KI-Transparenz
FactCircuit: ein prüfbarer Verifikationskreislauf für Behauptungen und Belege mit unveränderlicher Herkunftsdokumentation, stufenweisen Prüfungen, begrenzter Abfrage und reproduzierbarer Bewertung.
Die Arbeiten sind gemäß unserer Umfrage organisiert: Evaluating Large Language Models: A Comprehensive Survey.
Manipulationssichere Nachverfolgung, Richtlinienprüfungen und Gegenkontrollen für KI-Agenten: Sehen Sie, was der Agent getan hat und warum.
Ausnutzung von Prompts und Rollenspieltechniken zur Umgehung von KI-Modellbeschränkungen.
Red-Team- und Evaluierungsframework für KI-Agenten, basierend auf einer von OWASP inspirierten ASI01–ASI10-Taxonomie
Ein Hub/Forschungsbereich zum Jailbreaken von LLMs und zum Durchbrechen ihrer Sicherheitsfilter.
Ein Ressourcen-Repository für maschinelles Unlearning in großen Sprachmodellen
Messung, wie gut CLI-Agenten wie Claude Code oder Codex CLI Basis-LLMs auf einer einzelnen H100-GPU in 10 Stunden nachtrainieren können
Self-hosted Control Plane zur Laufzeit für KI-Agenten. Überwachen, mit menschlicher Freigabe (HITL) genehmigen oder bösartige Tool-Aufrufe blockieren, bevor sie ausgeführt werden – zum Schutz vor dem Abfluss von Geheimnissen, Prompt-Injection, Angriffen auf die Lieferkette und weiteren Risiken. Alles über ein lokales Dashboard. Agentenunabhängig (Claude, Codex, LangChain usw.).
Führen Sie KI-Agenten in einer Sandbox aus, die einschränkt, was sie ausführen, lesen und schreiben sowie im Netzwerk erreichen können. Box kombiniert Betriebssystem-Isolierung mit standardmäßig verweigernden Dogwood-Richtlinien und der Einbindung von Zugangsdaten, sodass Geheimnisse außerhalb des Agenten bleiben. In Rust geschrieben. Unterstützt macOS auf Apple silicon und Linux.
KI-Jailbreaks: 35 sofort einsetzbare KI-Jailbreak-Prompts für mehr als 25 Frontier- und Open-Weight-Modelle – System-Prompts, AGENTS.md-Spezifikationen und Ollama-Modelfiles. Entwickelt für KI-Sicherheitsforschung und Red-Team-Tests.
Ein umfassender Leitfaden, der Anfängern und erfahrenen Nutzern dabei hilft, KI in ihren Arbeitsablauf zu integrieren
PromptInject ist ein Framework, das Prompts modular zusammenstellt, um eine quantitative Analyse der Robustheit von LLMs gegenüber adversariellen Prompt-Angriffen zu ermöglichen. 🏆 Auszeichnung als bestes Paper beim NeurIPS ML Safety Workshop 2022
Durchsetzung von Richtlinien zur Laufzeit für KI-Agenten. Kryptografischer Prüfpfad, Genehmigungen mit menschlicher Beteiligung und Notausschalter. Keine Codeänderungen.
Häufig gestellte Fragen
Welches ist das beliebteste #ai-safety-Repository auf GitHub?
Das am höchsten eingestufte Open-Source-#ai-safety-Projekt auf GitHub ist ifixai-ai/iFixAi mit 46,592 Sternen. Unabhängige Prüfung von KI-Agenten. Durchgeführt von Menschen oder dem Agenten selbst, um die wichtigste Frage in der KI-Agenten-Ökonomie zu beantworten: Tut der Agent das, was er tun soll? Mit iFixAi erhalten Sie diese Antwort in weniger als 120 Sekunden.
Welche Programmiersprachen werden in #ai-safety-Repositories am häufigsten verwendet?
Unter den am höchsten eingestuften #ai-safety-Projekten auf GitHub sind Python, TypeScript, Jupyter Notebook, Rust die am häufigsten verwendeten Programmiersprachen.
Wie wird das Ranking der #ai-safety-Repositories berechnet?
Wir verfolgen 53 aktive Open-Source-Repositories, die mit #ai-safety getaggt sind (500+ Sterne), mit insgesamt 169,967 Sternen und durchschnittlich 3,206 Sternen pro Repository. Die Rankings werden täglich über die GitHub-API aktualisiert.