Git Stars Git Stars

#ai-safety Repositories

Entdecke 53 aktive Open-Source-GitHub-Repositories, die mit #ai-safety getaggt sind und insgesamt 169,967 Sterne gesammelt haben (durchschnittlich 3,206 Sterne pro Projekt). Spitzenreiter in diesem Themenbereich ist ifixai-ai/iFixAi mit 46,592 Sternen.

53
Gesamtzahl der Repositories
169,967
Gesamtanzahl der Sterne
3,206
Durchschnittliche Sterne/Repo

Insgesamt 53 Repositories

1
ifixai-ai/iFixAi

Unabhängige Prüfung von KI-Agenten. Durchgeführt von Menschen oder dem Agenten selbst, um die wichtigste Frage in der KI-Agenten-Ökonomie zu beantworten: Tut der Agent das, was er tun soll? Mit iFixAi erhalten Sie diese Antwort in weniger als 120 Sekunden.

ifixai-ai
⭐ 46,592 Python 👤 ifixai-ai Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2026-04-27
2
meta-llama/llama3

Die offizielle Meta Llama 3 GitHub-Seite

meta-llama
⭐ 29,268 Python 👤 meta-llama Organization 🕐 Aktualisiert 2025-01-26 📅 Erstellt 2024-03-15
3
Tencent/AI-Infra-Guard

Eine Full-Stack-Plattform für KI-Red-Teaming, die KI-Ökosysteme durch Agent Scan, Skills Scan, MCP Scan, AI Infra Scan und die Bewertung von LLM-Jailbreaks schützt.

Tencent
⭐ 7,604 Python 👤 Tencent Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2024-12-25
4
openai/openai-cs-agents-demo

Demo eines Kundenservice-Anwendungsfalls, der mit dem OpenAI Agents SDK implementiert wurde

openai
⭐ 6,618 Python 👤 openai Organization 🕐 Aktualisiert 2025-12-18 📅 Erstellt 2025-06-14
5
microsoft/agent-governance-toolkit

AI-Agent-Governance-Toolkit — Richtlinienvollzug, Zero-Trust-Identität, Ausführungs-Sandboxing und Zuverlässigkeitsengineering für autonome AI-Agenten. Umfasst 10/10 OWASP Agentic Top 10.

microsoft
⭐ 6,586 Python 👤 microsoft Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2026-03-02
6
dontriskit/awesome-ai-system-prompts

🧠 Kuratorische Sammlung von System-Prompts für Top-KI-Tools. Perfekt für KI-Agenten-Entwickler und Prompt-Ingenieure. Einschließlich: ChatGPT, Claude, Perplexity, Manus, Claude-Code, Loveable, v0, Grok, same new, windsurf, notion und MetaAI.

dontriskit
⭐ 6,302 TypeScript 👤 dontriskit User 🕐 Aktualisiert 2026-09-29 📅 Erstellt 2025-03-05
7
microsoft/PyRIT

Open-Source-Toolkit von Microsoft für KI-Red-Teaming. Testen Sie generative KI-Systeme mit automatisierten Scans, adaptiven Angriffen über mehrere Runden und einer Weboberfläche.

microsoft
⭐ 5,003 Python 👤 microsoft Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2023-12-12
8
ogx-ai/llama-stack-apps

Agentenkomponenten der Llama Stack APIs

ogx-ai
⭐ 4,302 👤 ogx-ai Organization 🕐 Aktualisiert 2025-08-05 📅 Erstellt 2024-06-25
10
jphall663/awesome-machine-learning-interpretability

Eine kuratierte Liste toller verantwortungsvoller Machine-Learning-Ressourcen.

jphall663
⭐ 4,088 👤 jphall663 User 🕐 Aktualisiert 2026-06-03 📅 Erstellt 2018-06-21
11
UKGovernmentBEIS/inspect_ai

Inspect: Ein Framework für die Evaluierung großer Sprachmodelle

UKGovernmentBEIS
⭐ 3,302 Python 👤 UKGovernmentBEIS Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2023-11-14
13
sahibzada-allahyar/Formal-Verification-RSI

Formale Verifikation für KI: ein auf Lean 4 + Dafny basierender Beweisprüfer, der gefälschte KI-Beweise (Reward Hacking) erkennt, sowie verifizierte rekursive Selbstverbesserung (RSI) für Programmieragenten. KI für Mathematik, Physik und Softwareentwicklung.

sahibzada-allahyar
⭐ 2,910 Python 👤 sahibzada-allahyar User 🕐 Aktualisiert 2026-10-22 📅 Erstellt 2025-02-22
14
wuyoscar/Internal-Safety-Collapse

[NeurIPS 2026] Sicherheitsversagen bei Programmieragenten und führenden LLMs. Reproduzierbare Arbeitsumgebungen zur Untersuchung, wann KI-Agenten bei der Erledigung von Aufgaben unsichere Daten erzeugen.

wuyoscar
⭐ 2,623 Python 👤 wuyoscar User 🕐 Aktualisiert 2026-11-16 📅 Erstellt 2026-03-01
15
kenryu42/cc-safety-net

Ein Schutzmechanismus für KI-Programmieragenten, der vor der Ausführung greift. Er blockiert destruktive Git- und Dateisystembefehle sowie häufige Versuche, auf sensible Dateien zuzugreifen, bevor ein Tool-Aufruf ausgeführt wird. Unterstützt Amp Code, Antigravity CLI, Claude Code, Codex, Cursor, DeepSeek Harness, Devin CLI, GitHub Copilot CLI, Grok Build, Hermes Agent, Kimi Code, OpenClaw, OpenCode und Pi.

kenryu42
⭐ 2,086 TypeScript 👤 kenryu42 User 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2025-12-25
16
wuyoscar/AISafetyHot

AI Safety HOT: tägliche Nachrichten, Fachartikel und Vorfälle zur KI-Sicherheit an einem Ort — Jailbreaks, Prompt-Injection, Alignment, Evaluationen und Governance. Website, tägliche Zusammenfassung, RSS und MCP.

wuyoscar
⭐ 2,079 TeX 👤 wuyoscar User 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2026-10-01
17
centerforaisafety/hle

Der letzte Test der Menschheit

centerforaisafety
⭐ 1,749 Python 👤 centerforaisafety Organization 🕐 Aktualisiert 2026-09-23 📅 Erstellt 2025-01-23
19
PKU-Alignment/safe-rlhf

Sichere RLHF: Konzernierte Wertausrichtung durch sicheres Reinforcement Learning aus menschlichem Feedback

PKU-Alignment
⭐ 1,624 Python 👤 PKU-Alignment Organization 🕐 Aktualisiert 2025-11-24 📅 Erstellt 2023-05-15
20
decoderesearch/SAELens

Training von spärlichen Autoencodern auf Sprachmodellen

decoderesearch
⭐ 1,588 Python 👤 decoderesearch Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2023-11-29
21
valqore/valqore

Sicherheitsorientierte Leitplanken für KI-gestützte Cloud- und Kubernetes-Vorgänge

valqore
⭐ 1,568 Python 👤 valqore Organization 🕐 Aktualisiert 2026-09-05 📅 Erstellt 2026-03-04
23
OpenLMLab/MOSS-RLHF

Geheimnisse von RLHF in großen Sprachmodellen Teil I: PPO

OpenLMLab
⭐ 1,408 Python 👤 OpenLMLab Organization 🕐 Aktualisiert 2024-03-03 📅 Erstellt 2023-07-05
⭐ 1,376 Python 👤 harishsg993010 User 🕐 Aktualisiert 2026-11-01 📅 Erstellt 2025-04-16
25
cvs-health/uqlm

[JMLR 2026] UQLM: Ein Python-Paket zur Erkennung von Halluzinationen großer Sprachmodelle mithilfe der Unsicherheitsquantifizierung

cvs-health
⭐ 1,215 Python 👤 cvs-health Organization 🕐 Aktualisiert 2026-11-08 📅 Erstellt 2025-04-17
26
xinxuxin/keystone-bench

Ein Benchmark für klinische Entscheidungen und Evidenz: die eine Tatsache herausarbeiten, auf der eine Antwort beruht, und prüfen, ob sich die Handlung des Assistenten entsprechend der Evidenz verändert. Auf HealthBench aufgebaut.

xinxuxin
⭐ 1,130 Python 👤 xinxuxin User 🕐 Aktualisiert 2026-10-19 📅 Erstellt 2026-09-07
27
lobehub/awesome-rsi

Eine kuratierte Forschungsübersicht zur rekursiven Selbstverbesserung (RSI): Modelle, Agenten, Harnesses, verkörperte Systeme, automatisierte KI-Forschung und -Entwicklung, Benchmarks und Sicherheit.

lobehub
⭐ 1,073 👤 lobehub Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2026-08-11
28
showlab/Awesome-MLLM-Hallucination

📖 Eine kuratierte Liste von Ressourcen, die sich der Halluzination von multimodalen großen Sprachmodellen (MLLM) widmen.

showlab
⭐ 1,044 👤 showlab Organization 🕐 Aktualisiert 2025-09-27 📅 Erstellt 2023-12-10
29
ZhangJinHaHaHa/AgentLens

Agentlens ist eine vertrauenswürdige Handelsplattform für Agenten. Hier können Sie schnell den Agenten finden, der Ihren Anforderungen entspricht, und Sie können auch Ihren eigenen Agenten veröffentlichen, um ihn in Ihr digitales Asset zu verwandeln. Wir ermutigen jeden dazu, seine Fachgebiete in Agenten umzuwandeln und sie zu digitalen Assets zu machen, damit andere Ihre einzigartigen Stärken sehen können.

ZhangJinHaHaHa
⭐ 1,013 TypeScript 👤 ZhangJinHaHaHa User 🕐 Aktualisiert 2026-08-24 📅 Erstellt 2026-04-15
30
h5i-dev/h5i

Ein auf Axum basierendes Rust-Webframework mit Lean-4-verifizierbaren Anwendungskernen, die auf Servern, Bare-Metal-Einbettgeräten und GPUs laufen, sowie integrierten Sicherheitstests.

h5i-dev
⭐ 936 Rust 👤 h5i-dev Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2026-03-11
31
tg12/gpt_jailbreak_status

Dies ist ein Repository, das darauf abzielt, Updates zum Status des Jailbreaks des OpenAI GPT-Sprachmodells bereitzustellen.

tg12
⭐ 934 HTML 👤 tg12 User 🕐 Aktualisiert 2026-05-16 📅 Erstellt 2023-03-01
32
andyzoujm/representation-engineering

Repräsentations-Engineering: Ein Top-Down-Ansatz für KI-Transparenz

andyzoujm
⭐ 931 Jupyter Notebook 👤 andyzoujm User 🕐 Aktualisiert 2024-08-14 📅 Erstellt 2023-09-26
33
superwesleyhys-ux/factcircuit

FactCircuit: ein prüfbarer Verifikationskreislauf für Behauptungen und Belege mit unveränderlicher Herkunftsdokumentation, stufenweisen Prüfungen, begrenzter Abfrage und reproduzierbarer Bewertung.

superwesleyhys-ux
⭐ 926 Python 👤 superwesleyhys-ux User 🕐 Aktualisiert 2026-11-13 📅 Erstellt 2026-09-06
34
tjunlp-lab/Awesome-LLMs-Evaluation-Papers

Die Arbeiten sind gemäß unserer Umfrage organisiert: Evaluating Large Language Models: A Comprehensive Survey.

tjunlp-lab
⭐ 791 👤 tjunlp-lab User 🕐 Aktualisiert 2024-05-08 📅 Erstellt 2023-10-29
35
Cygnux-Labs/Tracekit

Manipulationssichere Nachverfolgung, Richtlinienprüfungen und Gegenkontrollen für KI-Agenten: Sehen Sie, was der Agent getan hat und warum.

Cygnux-Labs
⭐ 759 Python 👤 Cygnux-Labs Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2026-09-26
37
l0gicx/ai-model-bypass

Ausnutzung von Prompts und Rollenspieltechniken zur Umgehung von KI-Modellbeschränkungen.

l0gicx
⭐ 722 👤 l0gicx User 🕐 Aktualisiert 2025-10-04 📅 Erstellt 2025-05-21
39
AgentSafeLabs/safelabs-eval

Red-Team- und Evaluierungsframework für KI-Agenten, basierend auf einer von OWASP inspirierten ASI01–ASI10-Taxonomie

AgentSafeLabs
⭐ 713 Python 👤 AgentSafeLabs Organization 🕐 Aktualisiert 2026-11-06 📅 Erstellt 2026-05-25
40
lalipa2003-arch/JailbreakHub

Ein Hub/Forschungsbereich zum Jailbreaken von LLMs und zum Durchbrechen ihrer Sicherheitsfilter.

lalipa2003-arch
⭐ 687 Roff 👤 lalipa2003-arch User 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2026-09-27
41
chrisliu298/awesome-llm-unlearning

Ein Ressourcen-Repository für maschinelles Unlearning in großen Sprachmodellen

chrisliu298
⭐ 640 👤 chrisliu298 User 🕐 Aktualisiert 2026-10-06 📅 Erstellt 2024-03-27
42
aisa-group/PostTrainBench

Messung, wie gut CLI-Agenten wie Claude Code oder Codex CLI Basis-LLMs auf einer einzelnen H100-GPU in 10 Stunden nachtrainieren können

aisa-group
⭐ 627 Python 👤 aisa-group Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2025-11-28
43
PrismorSec/prismor

Self-hosted Control Plane zur Laufzeit für KI-Agenten. Überwachen, mit menschlicher Freigabe (HITL) genehmigen oder bösartige Tool-Aufrufe blockieren, bevor sie ausgeführt werden – zum Schutz vor dem Abfluss von Geheimnissen, Prompt-Injection, Angriffen auf die Lieferkette und weiteren Risiken. Alles über ein lokales Dashboard. Agentenunabhängig (Claude, Codex, LangChain usw.).

PrismorSec
⭐ 585 Python 👤 PrismorSec Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2026-02-20
44
strands-agents/box

Führen Sie KI-Agenten in einer Sandbox aus, die einschränkt, was sie ausführen, lesen und schreiben sowie im Netzwerk erreichen können. Box kombiniert Betriebssystem-Isolierung mit standardmäßig verweigernden Dogwood-Richtlinien und der Einbindung von Zugangsdaten, sodass Geheimnisse außerhalb des Agenten bleiben. In Rust geschrieben. Unterstützt macOS auf Apple silicon und Linux.

strands-agents
⭐ 561 Rust 👤 strands-agents Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2026-10-02
45
PacificAI/langtest

Sichere und effektive Sprachmodelle bereitstellen

PacificAI
⭐ 560 Python 👤 PacificAI Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2022-11-18
46
Alejandros17487/ai-jailbreaks

KI-Jailbreaks: 35 sofort einsetzbare KI-Jailbreak-Prompts für mehr als 25 Frontier- und Open-Weight-Modelle – System-Prompts, AGENTS.md-Spezifikationen und Ollama-Modelfiles. Entwickelt für KI-Sicherheitsforschung und Red-Team-Tests.

Alejandros17487
⭐ 559 👤 Alejandros17487 User 🕐 Aktualisiert 2026-10-21 📅 Erstellt 2026-10-21
47
xop01/ai_goodpractice

Ein umfassender Leitfaden, der Anfängern und erfahrenen Nutzern dabei hilft, KI in ihren Arbeitsablauf zu integrieren

xop01
⭐ 556 👤 xop01 User 🕐 Aktualisiert 2026-10-02 📅 Erstellt 2026-10-02
48
opendilab/LLMRiddles

Open-Source-Reproduktion/Demo des LLM-Rätselspiels

opendilab
⭐ 549 Python 👤 opendilab Organization 🕐 Aktualisiert 2024-07-30 📅 Erstellt 2023-11-07
49
agencyenterprise/PromptInject

PromptInject ist ein Framework, das Prompts modular zusammenstellt, um eine quantitative Analyse der Robustheit von LLMs gegenüber adversariellen Prompt-Angriffen zu ermöglichen. 🏆 Auszeichnung als bestes Paper beim NeurIPS ML Safety Workshop 2022

agencyenterprise
⭐ 529 Python 👤 agencyenterprise Organization 🕐 Aktualisiert 2026-04-27 📅 Erstellt 2022-10-25
50
Justin0504/Aegis

Durchsetzung von Richtlinien zur Laufzeit für KI-Agenten. Kryptografischer Prüfpfad, Genehmigungen mit menschlicher Beteiligung und Notausschalter. Keine Codeänderungen.

Justin0504
⭐ 524 TypeScript 👤 Justin0504 User 🕐 Aktualisiert 2026-10-31 📅 Erstellt 2026-03-04

Häufig gestellte Fragen

1

Welches ist das beliebteste #ai-safety-Repository auf GitHub?

Das am höchsten eingestufte Open-Source-#ai-safety-Projekt auf GitHub ist ifixai-ai/iFixAi mit 46,592 Sternen. Unabhängige Prüfung von KI-Agenten. Durchgeführt von Menschen oder dem Agenten selbst, um die wichtigste Frage in der KI-Agenten-Ökonomie zu beantworten: Tut der Agent das, was er tun soll? Mit iFixAi erhalten Sie diese Antwort in weniger als 120 Sekunden.

2

Welche Programmiersprachen werden in #ai-safety-Repositories am häufigsten verwendet?

Unter den am höchsten eingestuften #ai-safety-Projekten auf GitHub sind Python, TypeScript, Jupyter Notebook, Rust die am häufigsten verwendeten Programmiersprachen.

3

Wie wird das Ranking der #ai-safety-Repositories berechnet?

Wir verfolgen 53 aktive Open-Source-Repositories, die mit #ai-safety getaggt sind (500+ Sterne), mit insgesamt 169,967 Sternen und durchschnittlich 3,206 Sternen pro Repository. Die Rankings werden täglich über die GitHub-API aktualisiert.