Git Stars Git Stars

#ai-safety リポジトリ

#ai-safetyのタグが付いた、GitHub上の53件のアクティブなオープンソースリポジトリをご覧ください。合計スター数は169,967個で、プロジェクトあたりの平均は3,206個です。このトピックをリードしているのは、46,592個のスターを獲得しているifixai-ai/iFixAiです。

53
リポジトリ総数
169,967
合計スター数
3,206
リポジトリあたりの平均スター数

リポジトリ合計53件

1
ifixai-ai/iFixAi

AIエージェントの独立監査。人間またはエージェント自身が実行し、AIエージェント経済における最も重要な問いに答えます。そのエージェントは本来の役割を果たしているか?iFixAiを使えば、120秒以内にその答えを得ることができます。

ifixai-ai
⭐ 46,592 Python 👤 ifixai-ai Organization 🕐 更新日時 2026-11-20 📅 作成日 2026-04-27
2
meta-llama/llama3

Meta Llama 3公式GitHubサイト

meta-llama
⭐ 29,268 Python 👤 meta-llama Organization 🕐 更新日時 2025-01-26 📅 作成日 2024-03-15
3
Tencent/AI-Infra-Guard

Agent Scan、Skills Scan、MCP Scan、AI Infra Scan、LLMの脱獄評価を通じてAIエコシステムを保護する、フルスタックのAIレッドチーム・プラットフォーム。

Tencent
⭐ 7,604 Python 👤 Tencent Organization 🕐 更新日時 2026-11-20 📅 作成日 2024-12-25
4
openai/openai-cs-agents-demo

OpenAI Agents SDKで実装されたカスタマーサービスユースケースのデモ

openai
⭐ 6,618 Python 👤 openai Organization 🕐 更新日時 2025-12-18 📅 作成日 2025-06-14
5
microsoft/agent-governance-toolkit

AIエージェントガバナンスツールキット — ポリシー施行、ゼロトラストID、実行サンドボクシング、および自律型AIエージェントのための信頼性エンジニアリング。OWASP Agentic Top 10の10/10をカバー。

microsoft
⭐ 6,586 Python 👤 microsoft Organization 🕐 更新日時 2026-11-21 📅 作成日 2026-03-02
6
dontriskit/awesome-ai-system-prompts

🧠 トップAIツールのためのシステムプロンプトの厳選されたコレクション。AIエージェントビルダーやプロンプトエンジニアに最適です。以下を含みます: ChatGPT, Claude, Perplexity, Manus, Claude-Code, Loveable, v0, Grok, same new, windsurf, notion, MetaAI。

dontriskit
⭐ 6,302 TypeScript 👤 dontriskit User 🕐 更新日時 2026-09-29 📅 作成日 2025-03-05
7
microsoft/PyRIT

MicrosoftのオープンソースAIレッドチーミングツールキット。自動スキャン、適応型のマルチターン攻撃、Web UIを使って生成AIシステムをテストできます。

microsoft
⭐ 5,003 Python 👤 microsoft Organization 🕐 更新日時 2026-11-21 📅 作成日 2023-12-12
8
ogx-ai/llama-stack-apps

Llama Stack APIのエージェントコンポーネント

ogx-ai
⭐ 4,302 👤 ogx-ai Organization 🕐 更新日時 2025-08-05 📅 作成日 2024-06-25
10
jphall663/awesome-machine-learning-interpretability

素晴らしい責任ある機械学習リソースのキュレーションされたリスト。

jphall663
⭐ 4,088 👤 jphall663 User 🕐 更新日時 2026-06-03 📅 作成日 2018-06-21
11
UKGovernmentBEIS/inspect_ai

Inspect: 大規模言語モデル評価のためのフレームワーク

UKGovernmentBEIS
⭐ 3,302 Python 👤 UKGovernmentBEIS Organization 🕐 更新日時 2026-11-20 📅 作成日 2023-11-14
13
sahibzada-allahyar/Formal-Verification-RSI

AIのための形式検証:Lean 4 + Dafnyを用いた証明チェッカーにより、AIの偽の証明(報酬ハッキング)を検出し、コーディングエージェントの検証済み再帰的自己改善(RSI)を実現します。数学、物理学、ソフトウェア工学のためのAI。

sahibzada-allahyar
⭐ 2,910 Python 👤 sahibzada-allahyar User 🕐 更新日時 2026-10-22 📅 作成日 2025-02-22
14
wuyoscar/Internal-Safety-Collapse

[NeurIPS 2026] コーディングエージェントと最先端LLMにおける安全性の失敗。タスクの遂行中にAIエージェントがいつ危険なデータを生成するかを研究するための、再現可能なワークスペース。

wuyoscar
⭐ 2,623 Python 👤 wuyoscar User 🕐 更新日時 2026-11-16 📅 作成日 2026-03-01
15
kenryu42/cc-safety-net

AIコーディングエージェント向けの実行前ガードです。ツール呼び出しが実行される前に、破壊的なGitコマンドやファイルシステムコマンド、および機密ファイルへの一般的なアクセス試行をブロックします。Amp Code、Antigravity CLI、Claude Code、Codex、Cursor、DeepSeek Harness、Devin CLI、GitHub Copilot CLI、Grok Build、Hermes Agent、Kimi Code、OpenClaw、OpenCode、Piに対応しています。

kenryu42
⭐ 2,086 TypeScript 👤 kenryu42 User 🕐 更新日時 2026-11-20 📅 作成日 2025-12-25
16
wuyoscar/AISafetyHot

AI Safety HOT:AI安全に関するニュース、論文、インシデントを毎日まとめてチェック。ジェイルブレイク、プロンプトインジェクション、アライメント、評価、ガバナンスを網羅。ウェブサイト、日刊ダイジェスト、RSS、MCPに対応。

wuyoscar
⭐ 2,079 TeX 👤 wuyoscar User 🕐 更新日時 2026-11-21 📅 作成日 2026-10-01
17
centerforaisafety/hle

人類最後の試験

centerforaisafety
⭐ 1,749 Python 👤 centerforaisafety Organization 🕐 更新日時 2026-09-23 📅 作成日 2025-01-23
19
PKU-Alignment/safe-rlhf

安全なRLHF:人間のフィードバックからの安全な強化学習による制約された値のアラインメント

PKU-Alignment
⭐ 1,624 Python 👤 PKU-Alignment Organization 🕐 更新日時 2025-11-24 📅 作成日 2023-05-15
20
decoderesearch/SAELens

言語モデルにおけるスパースオートエンコーダーのトレーニング

decoderesearch
⭐ 1,588 Python 👤 decoderesearch Organization 🕐 更新日時 2026-11-20 📅 作成日 2023-11-29
21
valqore/valqore

AI駆動のクラウドおよびKubernetes運用のための安全第一のガードレール

valqore
⭐ 1,568 Python 👤 valqore Organization 🕐 更新日時 2026-09-05 📅 作成日 2026-03-04
23
OpenLMLab/MOSS-RLHF

大規模言語モデルにおけるRLHFの秘密パートI:PPO

OpenLMLab
⭐ 1,408 Python 👤 OpenLMLab Organization 🕐 更新日時 2024-03-03 📅 作成日 2023-07-05
⭐ 1,376 Python 👤 harishsg993010 User 🕐 更新日時 2026-11-01 📅 作成日 2025-04-16
25
cvs-health/uqlm

[JMLR 2026] UQLM:不確実性の定量化を用いて大規模言語モデルのハルシネーションを検出するPythonパッケージ

cvs-health
⭐ 1,215 Python 👤 cvs-health Organization 🕐 更新日時 2026-11-08 📅 作成日 2025-04-17
26
xinxuxin/keystone-bench

臨床意思決定におけるエビデンス評価ベンチマーク:回答の根拠となる一つの事実を取り出し、アシスタントの行動がエビデンスに応じて変化するかを確認する。HealthBenchを基盤に構築。

xinxuxin
⭐ 1,130 Python 👤 xinxuxin User 🕐 更新日時 2026-10-19 📅 作成日 2026-09-07
27
lobehub/awesome-rsi

再帰的自己改善(RSI)に関する厳選研究マップ:モデル、エージェント、ハーネス、具現化システム、自動化されたAIの研究開発、ベンチマーク、安全性。

lobehub
⭐ 1,073 👤 lobehub Organization 🕐 更新日時 2026-11-20 📅 作成日 2026-08-11
28
showlab/Awesome-MLLM-Hallucination

📖 マルチモーダル大規模言語モデル(MLLM)の幻覚に特化した厳選されたリソースリスト。

showlab
⭐ 1,044 👤 showlab Organization 🕐 更新日時 2025-09-27 📅 作成日 2023-12-10
29
ZhangJinHaHaHa/AgentLens

Agentlensは、信頼できるエージェント取引プラットフォームです。ここでは、ニーズに合ったエージェントをすぐに見つけることができるほか、独自のエージェントを公開してデジタル資産にすることも可能です。私たちは、誰もが自分の専門分野をエージェント化し、デジタル資産に変えることで、あなたの独自の強みを他の人々に知ってもらうことを推奨しています。

ZhangJinHaHaHa
⭐ 1,013 TypeScript 👤 ZhangJinHaHaHa User 🕐 更新日時 2026-08-24 📅 作成日 2026-04-15
30
h5i-dev/h5i

AxumベースのRust製Webフレームワーク。Lean 4で検証可能なアプリケーションカーネルを備え、サーバー、ベアメタル組み込みデバイス、GPU上で実行できるほか、セキュリティテストも統合されています。

h5i-dev
⭐ 936 Rust 👤 h5i-dev Organization 🕐 更新日時 2026-11-20 📅 作成日 2026-03-11
31
tg12/gpt_jailbreak_status

これは、OpenAI GPT言語モデルのジェイルブレイクのステータスに関するアップデートを提供するリポジトリです。

tg12
⭐ 934 HTML 👤 tg12 User 🕐 更新日時 2026-05-16 📅 作成日 2023-03-01
32
andyzoujm/representation-engineering

表現エンジニアリング:AIの透明性に対するトップダウンアプローチ

andyzoujm
⭐ 931 Jupyter Notebook 👤 andyzoujm User 🕐 更新日時 2024-08-14 📅 作成日 2023-09-26
33
superwesleyhys-ux/factcircuit

FactCircuit:改ざん不可能な出所情報、段階的なチェック、取得範囲の制限、再現可能な評価を備えた、監査可能な主張・証拠検証ループ。

superwesleyhys-ux
⭐ 926 Python 👤 superwesleyhys-ux User 🕐 更新日時 2026-11-13 📅 作成日 2026-09-06
34
tjunlp-lab/Awesome-LLMs-Evaluation-Papers

論文は私たちの調査に従って整理されています:Evaluating Large Language Models: A Comprehensive Survey.

tjunlp-lab
⭐ 791 👤 tjunlp-lab User 🕐 更新日時 2024-05-08 📅 作成日 2023-10-29
35
Cygnux-Labs/Tracekit

AIエージェントの改ざん検知可能なトレース、ポリシーゲート、相互チェック:エージェントが何をしたのか、そしてその理由を確認できます。

Cygnux-Labs
⭐ 759 Python 👤 Cygnux-Labs Organization 🕐 更新日時 2026-11-21 📅 作成日 2026-09-26
37
l0gicx/ai-model-bypass

AIモデルの制限を回避するための、プロンプトの悪用やロールプレイの技術を利用する。

l0gicx
⭐ 722 👤 l0gicx User 🕐 更新日時 2025-10-04 📅 作成日 2025-05-21
39
AgentSafeLabs/safelabs-eval

OWASPに着想を得たASI01~ASI10の分類体系に基づく、AIエージェントのレッドチームテストおよび評価フレームワーク

AgentSafeLabs
⭐ 713 Python 👤 AgentSafeLabs Organization 🕐 更新日時 2026-11-06 📅 作成日 2026-05-25
40
lalipa2003-arch/JailbreakHub

LLMの脱獄や安全フィルターの突破を研究するためのハブ/研究エリア。

lalipa2003-arch
⭐ 687 Roff 👤 lalipa2003-arch User 🕐 更新日時 2026-11-20 📅 作成日 2026-09-27
41
chrisliu298/awesome-llm-unlearning

大規模言語モデルにおける機械学習のアンラーニングのためのリソースリポジトリ

chrisliu298
⭐ 640 👤 chrisliu298 User 🕐 更新日時 2026-10-06 📅 作成日 2024-03-27
42
aisa-group/PostTrainBench

Claude CodeやCodex CLIなどのCLIエージェントが、単一のH100 GPU上で10時間以内にベースLLMをポストトレーニングできる性能を測定する

aisa-group
⭐ 627 Python 👤 aisa-group Organization 🕐 更新日時 2026-11-20 📅 作成日 2025-11-28
43
PrismorSec/prismor

AIエージェント向けのセルフホスト型ランタイム制御プレーン。ローカルダッシュボードから、ツール呼び出しの実行前に監視、人間による承認(HITL)、または不正な呼び出しのブロックが可能です。秘密情報の漏えい、プロンプトインジェクション、サプライチェーン攻撃などを防ぎます。エージェントを問わず利用可能(Claude、Codex、LangChain など)。

PrismorSec
⭐ 585 Python 👤 PrismorSec Organization 🕐 更新日時 2026-11-21 📅 作成日 2026-02-20
44
strands-agents/box

AIエージェントをサンドボックス内で実行し、実行・読み取り・書き込みが可能な対象や、ネットワーク上でアクセスできる範囲を制限します。BoxはOSによる隔離と、デフォルトでアクセスを拒否するDogwoodポリシー、エージェントの外部にシークレットを保持する認証情報の注入を組み合わせています。Rustで開発されています。Apple silicon搭載MacのmacOSとLinuxに対応しています。

strands-agents
⭐ 561 Rust 👤 strands-agents Organization 🕐 更新日時 2026-11-21 📅 作成日 2026-10-02
45
PacificAI/langtest

安全で効果的な言語モデルを提供する

PacificAI
⭐ 560 Python 👤 PacificAI Organization 🕐 更新日時 2026-11-20 📅 作成日 2022-11-18
46
Alejandros17487/ai-jailbreaks

AI jailbreak:最先端モデルおよびオープンウェイトモデル25種類以上に対応した、すぐに貼り付けて使えるAI脱獄プロンプト35選。システムプロンプト、AGENTS.md仕様、Ollama Modelfileを収録。AIセキュリティ研究とレッドチームテスト向けに作成。

Alejandros17487
⭐ 559 👤 Alejandros17487 User 🕐 更新日時 2026-10-21 📅 作成日 2026-10-21
47
xop01/ai_goodpractice

初心者から経験豊富なユーザーまで、AIをワークフローに取り入れるための完全ガイド

xop01
⭐ 556 👤 xop01 User 🕐 更新日時 2026-10-02 📅 作成日 2026-10-02
48
opendilab/LLMRiddles

LLMなぞなぞゲームのオープンソース再現/デモ

opendilab
⭐ 549 Python 👤 opendilab Organization 🕐 更新日時 2024-07-30 📅 作成日 2023-11-07
49
agencyenterprise/PromptInject

PromptInjectは、プロンプトをモジュール方式で組み立て、LLMの敵対的プロンプト攻撃に対する堅牢性を定量的に分析するためのフレームワークです。🏆 NeurIPS 2022 ML Safety Workshop ベストペーパー賞受賞

agencyenterprise
⭐ 529 Python 👤 agencyenterprise Organization 🕐 更新日時 2026-04-27 📅 作成日 2022-10-25
50
Justin0504/Aegis

AIエージェントの実行時ポリシー適用。暗号学的監査証跡、人間の関与による承認、キルスイッチ。コード変更不要。

Justin0504
⭐ 524 TypeScript 👤 Justin0504 User 🕐 更新日時 2026-10-31 📅 作成日 2026-03-04

よくある質問

1

GitHubで最も人気のある#ai-safetyリポジトリは何ですか?

GitHubで最も上位にランクインしているオープンソースの#ai-safetyプロジェクトは、46,592個のスターを獲得しているifixai-ai/iFixAiです。AIエージェントの独立監査。人間またはエージェント自身が実行し、AIエージェント経済における最も重要な問いに答えます。そのエージェントは本来の役割を果たしているか?iFixAiを使えば、120秒以内にその答えを得ることができます。

2

#ai-safetyリポジトリで最もよく使われているプログラミング言語は何ですか?

GitHubで上位にランクインしている#ai-safetyプロジェクトでは、Python, TypeScript, Jupyter Notebook, Rustが最も一般的なプログラミング言語です。

3

#ai-safetyリポジトリのランキングはどのように算出されていますか?

#ai-safetyのタグが付いた53件のアクティブなオープンソースリポジトリ(スター500個以上)を追跡しています。合計スター数は169,967個で、リポジトリあたりの平均は3,206個です。ランキングはGitHub APIからのデータに基づいて毎日更新されます。