Git Stars Git Stars

#ai-safety 저장소

#ai-safety 태그가 지정된 GitHub의 활성 오픈 소스 저장소 53개를 확인해 보세요. 총 169,967개의 스타를 획득했으며 프로젝트당 평균 3,206개입니다. 이 주제를 이끄는 저장소는 46,592개의 스타를 받은 ifixai-ai/iFixAi입니다.

53
총 리포지토리
169,967
총 별점
3,206
리포지토리당 평균 스타 수

저장소 총 53개

1
ifixai-ai/iFixAi

AI 에이전트 독립 감사. 사람이나 에이전트 스스로가 실행하여 AI 에이전트 경제에서 가장 중요한 질문에 답합니다. 에이전트가 해야 할 일을 제대로 수행하고 있는가? iFixAi를 사용하면 120초 이내에 이 질문에 대한 답을 얻을 수 있습니다.

ifixai-ai
⭐ 46,592 Python 👤 ifixai-ai Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2026-04-27
2
meta-llama/llama3

Meta Llama 3 공식 GitHub 사이트

meta-llama
⭐ 29,268 Python 👤 meta-llama Organization 🕐 업데이트됨 2025-01-26 📅 생성됨 2024-03-15
3
Tencent/AI-Infra-Guard

Agent Scan, Skills Scan, MCP Scan, AI Infra Scan 및 LLM 탈옥 평가를 통해 AI 생태계를 보호하는 풀스택 AI 레드팀 플랫폼입니다.

Tencent
⭐ 7,604 Python 👤 Tencent Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2024-12-25
4
openai/openai-cs-agents-demo

OpenAI Agents SDK로 구현된 고객 서비스 사용 사례 데모

openai
⭐ 6,618 Python 👤 openai Organization 🕐 업데이트됨 2025-12-18 📅 생성됨 2025-06-14
5
microsoft/agent-governance-toolkit

AI 에이전트 거버넌스 툴킷 — 정책 시행, 제로 트러스트 ID, 실행 샌드박싱, 그리고 자율 AI 에이전트를 위한 신뢰성 엔지니어링. OWASP Agentic Top 10의 10/10을 다룹니다.

microsoft
⭐ 6,586 Python 👤 microsoft Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2026-03-02
6
dontriskit/awesome-ai-system-prompts

🧠 최고의 AI 도구를 위한 시스템 프롬프트 큐레이션 컬렉션. AI 에이전트 빌더 및 프롬프트 엔지니어에게 완벽합니다. 포함 사항: ChatGPT, Claude, Perplexity, Manus, Claude-Code, Loveable, v0, Grok, same new, windsurf, notion, MetaAI.

dontriskit
⭐ 6,302 TypeScript 👤 dontriskit User 🕐 업데이트됨 2026-09-29 📅 생성됨 2025-03-05
7
microsoft/PyRIT

Microsoft의 오픈 소스 AI 레드팀 테스트 툴킷입니다. 자동 스캔, 적응형 다중 턴 공격, 웹 UI를 사용해 생성형 AI 시스템을 테스트하세요.

microsoft
⭐ 5,003 Python 👤 microsoft Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2023-12-12
8
ogx-ai/llama-stack-apps

Llama Stack API의 에이전트 구성 요소

ogx-ai
⭐ 4,302 👤 ogx-ai Organization 🕐 업데이트됨 2025-08-05 📅 생성됨 2024-06-25
10
jphall663/awesome-machine-learning-interpretability

훌륭한 책임 있는 머신러닝 자원의 선별된 목록.

jphall663
⭐ 4,088 👤 jphall663 User 🕐 업데이트됨 2026-06-03 📅 생성됨 2018-06-21
11
UKGovernmentBEIS/inspect_ai

Inspect: 대규모 언어 모델 평가를 위한 프레임워크

UKGovernmentBEIS
⭐ 3,302 Python 👤 UKGovernmentBEIS Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2023-11-14
13
sahibzada-allahyar/Formal-Verification-RSI

AI를 위한 형식 검증: Lean 4 + Dafny 기반 증명 검사기로 AI의 가짜 증명(보상 해킹)을 잡아내고, 코딩 에이전트를 위한 검증된 재귀적 자기 개선(RSI)을 구현합니다. 수학, 물리학, 소프트웨어 공학을 위한 AI.

sahibzada-allahyar
⭐ 2,910 Python 👤 sahibzada-allahyar User 🕐 업데이트됨 2026-10-22 📅 생성됨 2025-02-22
14
wuyoscar/Internal-Safety-Collapse

[NeurIPS 2026] 코딩 에이전트와 최첨단 LLM의 안전성 실패. AI 에이전트가 작업을 수행하는 동안 언제 안전하지 않은 데이터를 생성하는지 연구하기 위한 재현 가능한 작업 공간.

wuyoscar
⭐ 2,623 Python 👤 wuyoscar User 🕐 업데이트됨 2026-11-16 📅 생성됨 2026-03-01
15
kenryu42/cc-safety-net

AI 코딩 에이전트를 위한 실행 전 보호 장치입니다. 도구 호출이 실행되기 전에 파괴적인 Git 및 파일 시스템 명령과 민감한 파일에 접근하려는 일반적인 시도를 차단합니다. Amp Code, Antigravity CLI, Claude Code, Codex, Cursor, DeepSeek Harness, Devin CLI, GitHub Copilot CLI, Grok Build, Hermes Agent, Kimi Code, OpenClaw, OpenCode, Pi를 지원합니다.

kenryu42
⭐ 2,086 TypeScript 👤 kenryu42 User 🕐 업데이트됨 2026-11-20 📅 생성됨 2025-12-25
16
wuyoscar/AISafetyHot

AI Safety HOT: AI 안전 뉴스, 논문, 사고를 매일 한곳에서 확인하세요 — 탈옥, 프롬프트 인젝션, 정렬, 평가, 거버넌스. 웹사이트, 일일 요약, RSS 및 MCP 제공.

wuyoscar
⭐ 2,079 TeX 👤 wuyoscar User 🕐 업데이트됨 2026-11-21 📅 생성됨 2026-10-01
17
centerforaisafety/hle

인류의 마지막 시험

centerforaisafety
⭐ 1,749 Python 👤 centerforaisafety Organization 🕐 업데이트됨 2026-09-23 📅 생성됨 2025-01-23
19
PKU-Alignment/safe-rlhf

안전한 RLHF: 인간 피드백으로부터의 안전한 강화 학습을 통한 제약된 가치 정렬

PKU-Alignment
⭐ 1,624 Python 👤 PKU-Alignment Organization 🕐 업데이트됨 2025-11-24 📅 생성됨 2023-05-15
20
decoderesearch/SAELens

언어 모델에 대한 희소 자동 인코더 훈련

decoderesearch
⭐ 1,588 Python 👤 decoderesearch Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2023-11-29
21
valqore/valqore

AI 기반 클라우드 및 Kubernetes 운영을 위한 안전 우선 가드레일

valqore
⭐ 1,568 Python 👤 valqore Organization 🕐 업데이트됨 2026-09-05 📅 생성됨 2026-03-04
23
OpenLMLab/MOSS-RLHF

대규모 언어 모델의 RLHF 비밀 1부: PPO

OpenLMLab
⭐ 1,408 Python 👤 OpenLMLab Organization 🕐 업데이트됨 2024-03-03 📅 생성됨 2023-07-05
⭐ 1,376 Python 👤 harishsg993010 User 🕐 업데이트됨 2026-11-01 📅 생성됨 2025-04-16
25
cvs-health/uqlm

[JMLR 2026] UQLM: 불확실성 정량화를 활용해 대규모 언어 모델의 환각을 탐지하는 Python 패키지

cvs-health
⭐ 1,215 Python 👤 cvs-health Organization 🕐 업데이트됨 2026-11-08 📅 생성됨 2025-04-17
26
xinxuxin/keystone-bench

임상 의사결정-근거 벤치마크: 답변이 의존하는 단 하나의 사실을 추출하고, 어시스턴트의 행동이 근거에 따라 달라지는지 확인합니다. HealthBench를 기반으로 구축되었습니다.

xinxuxin
⭐ 1,130 Python 👤 xinxuxin User 🕐 업데이트됨 2026-10-19 📅 생성됨 2026-09-07
27
lobehub/awesome-rsi

재귀적 자기 개선(RSI)에 관한 엄선된 연구 지도: 모델, 에이전트, 하네스, 체화 시스템, 자동화된 AI 연구개발, 벤치마크, 안전성.

lobehub
⭐ 1,073 👤 lobehub Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2026-08-11
28
showlab/Awesome-MLLM-Hallucination

📖 멀티모달 대형 언어 모델(MLLM)의 환각에 관한 자료 모음입니다.

showlab
⭐ 1,044 👤 showlab Organization 🕐 업데이트됨 2025-09-27 📅 생성됨 2023-12-10
29
ZhangJinHaHaHa/AgentLens

Agentlens는 신뢰할 수 있는 에이전트 거래 플랫폼입니다. 이곳에서 귀하의 요구 사항을 충족하는 에이전트를 빠르게 찾을 수 있으며, 자신의 에이전트를 게시하여 디지털 자산으로 전환할 수도 있습니다. 우리는 모든 사람이 자신의 전문 분야를 에이전트로 변환하여 디지털 자산으로 만들고, 다른 사람들이 귀하의 고유한 강점을 확인할 수 있도록 장려합니다.

ZhangJinHaHaHa
⭐ 1,013 TypeScript 👤 ZhangJinHaHaHa User 🕐 업데이트됨 2026-08-24 📅 생성됨 2026-04-15
30
h5i-dev/h5i

Axum 기반 Rust 웹 프레임워크로, Lean 4로 검증할 수 있는 애플리케이션 커널을 제공하며 서버, 베어메탈 임베디드 장치, GPU에서 실행되고 보안 테스트도 통합되어 있습니다.

h5i-dev
⭐ 936 Rust 👤 h5i-dev Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2026-03-11
31
tg12/gpt_jailbreak_status

이것은 OpenAI GPT 언어 모델의 탈옥 상태에 대한 업데이트를 제공하는 것을 목표로 하는 저장소입니다.

tg12
⭐ 934 HTML 👤 tg12 User 🕐 업데이트됨 2026-05-16 📅 생성됨 2023-03-01
32
andyzoujm/representation-engineering

표현 공학: AI 투명성을 위한 하향식 접근 방식

andyzoujm
⭐ 931 Jupyter Notebook 👤 andyzoujm User 🕐 업데이트됨 2024-08-14 📅 생성됨 2023-09-26
33
superwesleyhys-ux/factcircuit

FactCircuit: 변경 불가능한 출처 기록, 단계별 검사, 제한된 검색, 재현 가능한 평가를 갖춘 감사 가능한 주장·증거 검증 루프.

superwesleyhys-ux
⭐ 926 Python 👤 superwesleyhys-ux User 🕐 업데이트됨 2026-11-13 📅 생성됨 2026-09-06
34
tjunlp-lab/Awesome-LLMs-Evaluation-Papers

논문은 우리 설문 조사에 따라 구성되었습니다: Evaluating Large Language Models: A Comprehensive Survey.

tjunlp-lab
⭐ 791 👤 tjunlp-lab User 🕐 업데이트됨 2024-05-08 📅 생성됨 2023-10-29
35
Cygnux-Labs/Tracekit

AI 에이전트를 위한 변조 감지 추적, 정책 게이트 및 교차 검증: 에이전트가 무엇을 했고 왜 그렇게 했는지 확인하세요.

Cygnux-Labs
⭐ 759 Python 👤 Cygnux-Labs Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2026-09-26
37
l0gicx/ai-model-bypass

AI 모델 제한을 우회하기 위한 프롬프트 악용 및 역할극 기법.

l0gicx
⭐ 722 👤 l0gicx User 🕐 업데이트됨 2025-10-04 📅 생성됨 2025-05-21
39
AgentSafeLabs/safelabs-eval

OWASP에서 영감을 얻은 ASI01–ASI10 분류 체계를 기반으로 하는 AI 에이전트 레드팀 테스트 및 평가 프레임워크

AgentSafeLabs
⭐ 713 Python 👤 AgentSafeLabs Organization 🕐 업데이트됨 2026-11-06 📅 생성됨 2026-05-25
40
lalipa2003-arch/JailbreakHub

LLM 탈옥 및 안전 필터 우회를 연구하는 허브/연구 공간.

lalipa2003-arch
⭐ 687 Roff 👤 lalipa2003-arch User 🕐 업데이트됨 2026-11-20 📅 생성됨 2026-09-27
41
chrisliu298/awesome-llm-unlearning

대규모 언어 모델에서 기계적 학습 해제를 위한 리소스 리포지토리

chrisliu298
⭐ 640 👤 chrisliu298 User 🕐 업데이트됨 2026-10-06 📅 생성됨 2024-03-27
42
aisa-group/PostTrainBench

Claude Code나 Codex CLI와 같은 CLI 에이전트가 단일 H100 GPU에서 10시간 내에 기본 LLM을 사후 훈련할 수 있는 성능을 측정

aisa-group
⭐ 627 Python 👤 aisa-group Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2025-11-28
43
PrismorSec/prismor

AI 에이전트를 위한 자체 호스팅 런타임 컨트롤 플레인입니다. 로컬 대시보드에서 도구 호출을 실행 전에 모니터링하고, 사람의 승인(HITL)을 거치거나 악의적인 호출을 차단할 수 있습니다. 이를 통해 비밀 정보 유출, 프롬프트 인젝션, 공급망 공격 등의 위험을 방지합니다. 에이전트 종류와 무관하게 사용 가능(Claude, Codex, LangChain 등).

PrismorSec
⭐ 585 Python 👤 PrismorSec Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2026-02-20
44
strands-agents/box

AI 에이전트를 샌드박스에서 실행하여 에이전트가 실행·읽기·쓰기할 수 있는 항목과 네트워크에서 접근할 수 있는 범위를 제한합니다. Box는 OS 격리, 기본적으로 접근을 거부하는 Dogwood 정책, 에이전트 외부에 비밀 정보를 보관하는 자격 증명 주입을 결합합니다. Rust로 작성되었습니다. Apple silicon 기반 macOS와 Linux를 지원합니다.

strands-agents
⭐ 561 Rust 👤 strands-agents Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2026-10-02
45
PacificAI/langtest

안전하고 효과적인 언어 모델 제공

PacificAI
⭐ 560 Python 👤 PacificAI Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2022-11-18
46
Alejandros17487/ai-jailbreaks

AI 탈옥: 25개 이상의 프런티어 및 오픈 웨이트 모델에서 바로 붙여 넣어 사용할 수 있는 AI 탈옥 프롬프트 35개 — 시스템 프롬프트, AGENTS.md 사양, Ollama Modelfile. AI 보안 연구와 레드팀 테스트를 위해 제작되었습니다.

Alejandros17487
⭐ 559 👤 Alejandros17487 User 🕐 업데이트됨 2026-10-21 📅 생성됨 2026-10-21
47
xop01/ai_goodpractice

초보자와 숙련된 사용자 모두를 위한 AI 워크플로 통합 완벽 가이드

xop01
⭐ 556 👤 xop01 User 🕐 업데이트됨 2026-10-02 📅 생성됨 2026-10-02
48
opendilab/LLMRiddles

LLM 수수께끼 게임의 오픈 소스 재현/데모

opendilab
⭐ 549 Python 👤 opendilab Organization 🕐 업데이트됨 2024-07-30 📅 생성됨 2023-11-07
49
agencyenterprise/PromptInject

PromptInject는 프롬프트를 모듈식으로 구성하여 LLM의 적대적 프롬프트 공격에 대한 견고성을 정량적으로 분석하는 프레임워크입니다. 🏆 NeurIPS 2022 ML Safety Workshop 최우수 논문상 수상

agencyenterprise
⭐ 529 Python 👤 agencyenterprise Organization 🕐 업데이트됨 2026-04-27 📅 생성됨 2022-10-25
50
Justin0504/Aegis

AI 에이전트를 위한 런타임 정책 적용. 암호화 감사 추적, 사람 개입 승인, 킬 스위치. 코드 변경 없음.

Justin0504
⭐ 524 TypeScript 👤 Justin0504 User 🕐 업데이트됨 2026-10-31 📅 생성됨 2026-03-04

자주 묻는 질문

1

GitHub에서 가장 인기 있는 #ai-safety 저장소는 무엇인가요?

GitHub에서 가장 높은 순위의 오픈 소스 #ai-safety 프로젝트는 46,592개의 스타를 받은 ifixai-ai/iFixAi입니다. AI 에이전트 독립 감사. 사람이나 에이전트 스스로가 실행하여 AI 에이전트 경제에서 가장 중요한 질문에 답합니다. 에이전트가 해야 할 일을 제대로 수행하고 있는가? iFixAi를 사용하면 120초 이내에 이 질문에 대한 답을 얻을 수 있습니다.

2

#ai-safety 저장소에서 가장 많이 사용되는 프로그래밍 언어는 무엇인가요?

GitHub에서 순위가 가장 높은 #ai-safety 프로젝트 중 가장 일반적으로 사용되는 프로그래밍 언어는 Python, TypeScript, Jupyter Notebook, Rust입니다.

3

#ai-safety 저장소 순위는 어떻게 계산되나요?

#ai-safety 태그가 지정된 활성 오픈 소스 저장소(53개, 스타 500개 이상)를 추적하고 있습니다. 총 스타 수는 169,967개이며 저장소당 평균 3,206개입니다. 순위는 GitHub API를 통해 매일 업데이트됩니다.