Git Stars Git Stars

#ai-safety 仓库

探索 53 个标记为 #ai-safety 的活跃开源 GitHub 仓库,它们累计获得 169,967 个 Star(平均每个项目 3,206 个)。该主题的领先项目是 ifixai-ai/iFixAi,拥有 46,592 个 Star。

53
仓库总数
169,967
总星标数
3,206
平均每个仓库星标数
1
ifixai-ai/iFixAi

AI 智能体独立审计。无论是人工运行还是由智能体自身运行,旨在回答 AI 智能体经济中最关键的问题:该智能体是否在执行其应有的任务?使用 iFixAi,您可以在 120 秒内获得答案。

ifixai-ai
⭐ 46,592 Python 👤 ifixai-ai Organization 🕐 已更新 2026-11-20 📅 创建时间 2026-04-27
2
meta-llama/llama3

Meta Llama 3 官方 GitHub 站点

meta-llama
⭐ 29,268 Python 👤 meta-llama Organization 🕐 已更新 2025-01-26 📅 创建时间 2024-03-15
3
Tencent/AI-Infra-Guard

一个全栈式 AI 红队测试平台,通过 Agent 扫描、Skills 扫描、MCP 扫描、AI 基础设施扫描和 LLM 越狱评估,保障 AI 生态系统安全。

Tencent
⭐ 7,604 Python 👤 Tencent Organization 🕐 已更新 2026-11-20 📅 创建时间 2024-12-25
4
openai/openai-cs-agents-demo

使用OpenAI Agents SDK实现的客户服务用例演示

openai
⭐ 6,618 Python 👤 openai Organization 🕐 已更新 2025-12-18 📅 创建时间 2025-06-14
5
microsoft/agent-governance-toolkit

AI 代理治理工具包 — 策略执行、零信任身份、执行沙箱以及自主 AI 代理的可靠性工程。涵盖 10/10 OWASP Agentic Top 10。

microsoft
⭐ 6,586 Python 👤 microsoft Organization 🕐 已更新 2026-11-21 📅 创建时间 2026-03-02
6
dontriskit/awesome-ai-system-prompts

🧠 精选顶级AI工具的系统提示合集。非常适合AI代理构建者和提示工程师。包括:ChatGPT, Claude, Perplexity, Manus, Claude-Code, Loveable, v0, Grok, same new, windsurf, notion, 和 MetaAI。

dontriskit
⭐ 6,302 TypeScript 👤 dontriskit User 🕐 已更新 2026-09-29 📅 创建时间 2025-03-05
7
microsoft/PyRIT

微软推出的开源 AI 红队测试工具包。通过自动扫描、自适应多轮攻击和网页界面测试生成式 AI 系统。

microsoft
⭐ 5,003 Python 👤 microsoft Organization 🕐 已更新 2026-11-21 📅 创建时间 2023-12-12
8
ogx-ai/llama-stack-apps

Llama Stack API 的代理组件

ogx-ai
⭐ 4,302 👤 ogx-ai Organization 🕐 已更新 2025-08-05 📅 创建时间 2024-06-25
10
jphall663/awesome-machine-learning-interpretability

精选的优秀负责任机器学习资源列表。

jphall663
⭐ 4,088 👤 jphall663 User 🕐 已更新 2026-06-03 📅 创建时间 2018-06-21
11
UKGovernmentBEIS/inspect_ai

Inspect:用于大型语言模型评估的框架

UKGovernmentBEIS
⭐ 3,302 Python 👤 UKGovernmentBEIS Organization 🕐 已更新 2026-11-20 📅 创建时间 2023-11-14
13
sahibzada-allahyar/Formal-Verification-RSI

面向 AI 的形式化验证:一个基于 Lean 4 + Dafny 的证明检查器,可识别虚假的 AI 证明(奖励操纵),并为编程智能体实现经验证的递归式自我改进(RSI)。用于数学、物理和软件工程的 AI。

sahibzada-allahyar
⭐ 2,910 Python 👤 sahibzada-allahyar User 🕐 已更新 2026-10-22 📅 创建时间 2025-02-22
14
wuyoscar/Internal-Safety-Collapse

[NeurIPS 2026] 编码智能体和前沿大语言模型中的安全失效。用于研究 AI 智能体在完成任务时何时会生成不安全数据的可复现实验环境。

wuyoscar
⭐ 2,623 Python 👤 wuyoscar User 🕐 已更新 2026-11-16 📅 创建时间 2026-03-01
15
kenryu42/cc-safety-net

面向 AI 编码代理的执行前防护工具。它会在工具调用运行前,拦截具有破坏性的 Git 和文件系统命令,以及常见的敏感文件访问尝试。支持 Amp Code、Antigravity CLI、Claude Code、Codex、Cursor、DeepSeek Harness、Devin CLI、GitHub Copilot CLI、Grok Build、Hermes Agent、Kimi Code、OpenClaw、OpenCode 和 Pi。

kenryu42
⭐ 2,086 TypeScript 👤 kenryu42 User 🕐 已更新 2026-11-20 📅 创建时间 2025-12-25
16
wuyoscar/AISafetyHot

AI Safety HOT:每日 AI 安全新闻、论文和事件,一站汇集——越狱、提示注入、对齐、评测与治理。提供网站、每日摘要、RSS 和 MCP。

wuyoscar
⭐ 2,079 TeX 👤 wuyoscar User 🕐 已更新 2026-11-21 📅 创建时间 2026-10-01
17
centerforaisafety/hle

人类的最后考试

centerforaisafety
⭐ 1,749 Python 👤 centerforaisafety Organization 🕐 已更新 2026-09-23 📅 创建时间 2025-01-23
19
PKU-Alignment/safe-rlhf

安全RLHF:通过人类反馈的安全强化学习实现约束式价值对齐

PKU-Alignment
⭐ 1,624 Python 👤 PKU-Alignment Organization 🕐 已更新 2025-11-24 📅 创建时间 2023-05-15
20
decoderesearch/SAELens

在语言模型上训练稀疏自编码器

decoderesearch
⭐ 1,588 Python 👤 decoderesearch Organization 🕐 已更新 2026-11-20 📅 创建时间 2023-11-29
21
valqore/valqore

面向人工智能驱动的云和 Kubernetes 运维的安全护栏

valqore
⭐ 1,568 Python 👤 valqore Organization 🕐 已更新 2026-09-05 📅 创建时间 2026-03-04
23
OpenLMLab/MOSS-RLHF

大型语言模型中 RLHF 的秘密 第一部分:PPO

OpenLMLab
⭐ 1,408 Python 👤 OpenLMLab Organization 🕐 已更新 2024-03-03 📅 创建时间 2023-07-05
⭐ 1,376 Python 👤 harishsg993010 User 🕐 已更新 2026-11-01 📅 创建时间 2025-04-16
25
cvs-health/uqlm

[JMLR 2026] UQLM:一个利用不确定性量化检测大语言模型幻觉的 Python 软件包

cvs-health
⭐ 1,215 Python 👤 cvs-health Organization 🕐 已更新 2026-11-08 📅 创建时间 2025-04-17
26
xinxuxin/keystone-bench

一个临床决策—证据基准:提取答案所依据的唯一事实,检验助手的行动是否随证据而变化。基于 HealthBench 构建。

xinxuxin
⭐ 1,130 Python 👤 xinxuxin User 🕐 已更新 2026-10-19 📅 创建时间 2026-09-07
27
lobehub/awesome-rsi

递归式自我改进(RSI)精选研究地图:模型、智能体、运行框架、具身系统、自动化 AI 研发、基准测试与安全。

lobehub
⭐ 1,073 👤 lobehub Organization 🕐 已更新 2026-11-20 📅 创建时间 2026-08-11
28
showlab/Awesome-MLLM-Hallucination

📖 专门致力于多模态大语言模型(MLLM)幻觉的资源列表。

showlab
⭐ 1,044 👤 showlab Organization 🕐 已更新 2025-09-27 📅 创建时间 2023-12-10
29
ZhangJinHaHaHa/AgentLens

Agentlens 是一个值得信赖的智能体交易平台。在这里,您可以快速找到满足您需求的智能体,也可以发布您自己的智能体,将其转化为您的数字资产。我们鼓励每个人将自己的专业领域转化为智能体并将其变为数字资产,让其他人看到您独特的优势。

ZhangJinHaHaHa
⭐ 1,013 TypeScript 👤 ZhangJinHaHaHa User 🕐 已更新 2026-08-24 📅 创建时间 2026-04-15
30
h5i-dev/h5i

一个基于 Axum 的 Rust Web 框架,包含可通过 Lean 4 验证、可运行于服务器、裸机嵌入式设备和 GPU 上的应用内核,并集成安全测试。

h5i-dev
⭐ 936 Rust 👤 h5i-dev Organization 🕐 已更新 2026-11-20 📅 创建时间 2026-03-11
31
tg12/gpt_jailbreak_status

这是一个旨在提供OpenAI GPT语言模型越狱状态更新的存储库。

tg12
⭐ 934 HTML 👤 tg12 User 🕐 已更新 2026-05-16 📅 创建时间 2023-03-01
32
andyzoujm/representation-engineering

表征工程:AI 透明化的自顶向下方法

andyzoujm
⭐ 931 Jupyter Notebook 👤 andyzoujm User 🕐 已更新 2024-08-14 📅 创建时间 2023-09-26
33
superwesleyhys-ux/factcircuit

FactCircuit:一个可审计的主张与证据验证闭环,具备不可篡改的来源记录、分阶段检查、有界检索和可复现的评估。

superwesleyhys-ux
⭐ 926 Python 👤 superwesleyhys-ux User 🕐 已更新 2026-11-13 📅 创建时间 2026-09-06
34
tjunlp-lab/Awesome-LLMs-Evaluation-Papers

论文根据我们的调查进行组织:Evaluating Large Language Models: A Comprehensive Survey.

tjunlp-lab
⭐ 791 👤 tjunlp-lab User 🕐 已更新 2024-05-08 📅 创建时间 2023-10-29
35
Cygnux-Labs/Tracekit

为 AI 智能体提供防篡改追踪、策略关卡和交叉核验:了解智能体做了什么,以及为什么这样做。

Cygnux-Labs
⭐ 759 Python 👤 Cygnux-Labs Organization 🕐 已更新 2026-11-21 📅 创建时间 2026-09-26
37
l0gicx/ai-model-bypass

利用提示词和角色扮演技巧绕过AI模型的限制。

l0gicx
⭐ 722 👤 l0gicx User 🕐 已更新 2025-10-04 📅 创建时间 2025-05-21
39
AgentSafeLabs/safelabs-eval

面向 AI 智能体的红队测试与评估框架,基于受 OWASP 启发的 ASI01–ASI10 分类体系构建

AgentSafeLabs
⭐ 713 Python 👤 AgentSafeLabs Organization 🕐 已更新 2026-11-06 📅 创建时间 2026-05-25
40
lalipa2003-arch/JailbreakHub

一个用于研究如何越狱大型语言模型并突破其安全过滤机制的中心/研究区域。

lalipa2003-arch
⭐ 687 Roff 👤 lalipa2003-arch User 🕐 已更新 2026-11-20 📅 创建时间 2026-09-27
41
chrisliu298/awesome-llm-unlearning

大型语言模型中机器不可学的资源库

chrisliu298
⭐ 640 👤 chrisliu298 User 🕐 已更新 2026-10-06 📅 创建时间 2024-03-27
42
aisa-group/PostTrainBench

衡量像Claude Code或Codex CLI这样的CLI代理在单个H100 GPU上10小时内对基础LLM进行后训练的效果

aisa-group
⭐ 627 Python 👤 aisa-group Organization 🕐 已更新 2026-11-20 📅 创建时间 2025-11-28
43
PrismorSec/prismor

面向 AI 智能体的自托管运行时控制平面。通过本地控制面板,在工具调用执行前进行监控、人工审核(HITL)或拦截,防止机密泄露、提示词注入、供应链攻击等风险。兼容各类智能体(Claude、Codex、LangChain 等)。

PrismorSec
⭐ 585 Python 👤 PrismorSec Organization 🕐 已更新 2026-11-21 📅 创建时间 2026-02-20
44
strands-agents/box

在沙箱中运行 AI 智能体,限制其可执行、读取、写入的内容以及可访问的网络资源。Box 将操作系统级隔离与默认拒绝的 Dogwood 策略相结合,并通过凭证注入将机密保留在智能体之外。使用 Rust 编写。支持 Apple 芯片上的 macOS 和 Linux。

strands-agents
⭐ 561 Rust 👤 strands-agents Organization 🕐 已更新 2026-11-21 📅 创建时间 2026-10-02
45
PacificAI/langtest

提供安全有效的语言模型

PacificAI
⭐ 560 Python 👤 PacificAI Organization 🕐 已更新 2026-11-20 📅 创建时间 2022-11-18
46
Alejandros17487/ai-jailbreaks

AI 越狱:35 条可直接粘贴使用的 AI 越狱提示词,适用于 25 多种前沿模型和开放权重模型——包括系统提示词、AGENTS.md 规范和 Ollama Modelfile。专为 AI 安全研究和红队测试打造。

Alejandros17487
⭐ 559 👤 Alejandros17487 User 🕐 已更新 2026-10-21 📅 创建时间 2026-10-21
47
xop01/ai_goodpractice

帮助初学者和有经验的用户将 AI 融入工作流程的完整指南

xop01
⭐ 556 👤 xop01 User 🕐 已更新 2026-10-02 📅 创建时间 2026-10-02
48
opendilab/LLMRiddles

LLM 谜题游戏的开源复现/演示

opendilab
⭐ 549 Python 👤 opendilab Organization 🕐 已更新 2024-07-30 📅 创建时间 2023-11-07
49
agencyenterprise/PromptInject

PromptInject 是一个以模块化方式组装提示词的框架,旨在对大语言模型(LLM)抵御对抗性提示攻击的鲁棒性进行定量分析。🏆 荣获 NeurIPS 2022 机器学习安全研讨会最佳论文奖

agencyenterprise
⭐ 529 Python 👤 agencyenterprise Organization 🕐 已更新 2026-04-27 📅 创建时间 2022-10-25
50
Justin0504/Aegis

AI 代理的运行时策略执行。加密审计追踪、人工参与审批、紧急停止开关。无需更改代码。

Justin0504
⭐ 524 TypeScript 👤 Justin0504 User 🕐 已更新 2026-10-31 📅 创建时间 2026-03-04

常见问题解答

1

GitHub 上最受欢迎的 #ai-safety 仓库是什么?

GitHub 上排名第一的开源 #ai-safety 项目是 ifixai-ai/iFixAi,拥有 46,592 个 Star。AI 智能体独立审计。无论是人工运行还是由智能体自身运行,旨在回答 AI 智能体经济中最关键的问题:该智能体是否在执行其应有的任务?使用 iFixAi,您可以在 120 秒内获得答案。

2

#ai-safety 仓库中最常使用的编程语言有哪些?

在 GitHub 上排名靠前的 #ai-safety 项目中,最常见的编程语言是 Python, TypeScript, Jupyter Notebook, Rust。

3

#ai-safety 仓库的排名是如何计算的?

我们跟踪了 53 个标记为 #ai-safety 且拥有 500+ 个 Star 的活跃开源仓库,共计获得 169,967 个 Star,平均每个仓库拥有 3,206 个 Star。排名每日根据 GitHub API 更新。