#ai-safety リポジトリ
#ai-safetyのタグが付いた、GitHub上の53件のアクティブなオープンソースリポジトリをご覧ください。合計スター数は169,967個で、プロジェクトあたりの平均は3,206個です。このトピックをリードしているのは、46,592個のスターを獲得しているifixai-ai/iFixAiです。
リポジトリ合計53件
AIエージェントの独立監査。人間またはエージェント自身が実行し、AIエージェント経済における最も重要な問いに答えます。そのエージェントは本来の役割を果たしているか?iFixAiを使えば、120秒以内にその答えを得ることができます。
Agent Scan、Skills Scan、MCP Scan、AI Infra Scan、LLMの脱獄評価を通じてAIエコシステムを保護する、フルスタックのAIレッドチーム・プラットフォーム。
AIエージェントガバナンスツールキット — ポリシー施行、ゼロトラストID、実行サンドボクシング、および自律型AIエージェントのための信頼性エンジニアリング。OWASP Agentic Top 10の10/10をカバー。
🧠 トップAIツールのためのシステムプロンプトの厳選されたコレクション。AIエージェントビルダーやプロンプトエンジニアに最適です。以下を含みます: ChatGPT, Claude, Perplexity, Manus, Claude-Code, Loveable, v0, Grok, same new, windsurf, notion, MetaAI。
AIのための形式検証:Lean 4 + Dafnyを用いた証明チェッカーにより、AIの偽の証明(報酬ハッキング)を検出し、コーディングエージェントの検証済み再帰的自己改善(RSI)を実現します。数学、物理学、ソフトウェア工学のためのAI。
[NeurIPS 2026] コーディングエージェントと最先端LLMにおける安全性の失敗。タスクの遂行中にAIエージェントがいつ危険なデータを生成するかを研究するための、再現可能なワークスペース。
AIコーディングエージェント向けの実行前ガードです。ツール呼び出しが実行される前に、破壊的なGitコマンドやファイルシステムコマンド、および機密ファイルへの一般的なアクセス試行をブロックします。Amp Code、Antigravity CLI、Claude Code、Codex、Cursor、DeepSeek Harness、Devin CLI、GitHub Copilot CLI、Grok Build、Hermes Agent、Kimi Code、OpenClaw、OpenCode、Piに対応しています。
AI Safety HOT:AI安全に関するニュース、論文、インシデントを毎日まとめてチェック。ジェイルブレイク、プロンプトインジェクション、アライメント、評価、ガバナンスを網羅。ウェブサイト、日刊ダイジェスト、RSS、MCPに対応。
臨床意思決定におけるエビデンス評価ベンチマーク:回答の根拠となる一つの事実を取り出し、アシスタントの行動がエビデンスに応じて変化するかを確認する。HealthBenchを基盤に構築。
Agentlensは、信頼できるエージェント取引プラットフォームです。ここでは、ニーズに合ったエージェントをすぐに見つけることができるほか、独自のエージェントを公開してデジタル資産にすることも可能です。私たちは、誰もが自分の専門分野をエージェント化し、デジタル資産に変えることで、あなたの独自の強みを他の人々に知ってもらうことを推奨しています。
AxumベースのRust製Webフレームワーク。Lean 4で検証可能なアプリケーションカーネルを備え、サーバー、ベアメタル組み込みデバイス、GPU上で実行できるほか、セキュリティテストも統合されています。
FactCircuit:改ざん不可能な出所情報、段階的なチェック、取得範囲の制限、再現可能な評価を備えた、監査可能な主張・証拠検証ループ。
論文は私たちの調査に従って整理されています:Evaluating Large Language Models: A Comprehensive Survey.
Claude CodeやCodex CLIなどのCLIエージェントが、単一のH100 GPU上で10時間以内にベースLLMをポストトレーニングできる性能を測定する
AIエージェント向けのセルフホスト型ランタイム制御プレーン。ローカルダッシュボードから、ツール呼び出しの実行前に監視、人間による承認(HITL)、または不正な呼び出しのブロックが可能です。秘密情報の漏えい、プロンプトインジェクション、サプライチェーン攻撃などを防ぎます。エージェントを問わず利用可能(Claude、Codex、LangChain など)。
AIエージェントをサンドボックス内で実行し、実行・読み取り・書き込みが可能な対象や、ネットワーク上でアクセスできる範囲を制限します。BoxはOSによる隔離と、デフォルトでアクセスを拒否するDogwoodポリシー、エージェントの外部にシークレットを保持する認証情報の注入を組み合わせています。Rustで開発されています。Apple silicon搭載MacのmacOSとLinuxに対応しています。
AI jailbreak:最先端モデルおよびオープンウェイトモデル25種類以上に対応した、すぐに貼り付けて使えるAI脱獄プロンプト35選。システムプロンプト、AGENTS.md仕様、Ollama Modelfileを収録。AIセキュリティ研究とレッドチームテスト向けに作成。
PromptInjectは、プロンプトをモジュール方式で組み立て、LLMの敵対的プロンプト攻撃に対する堅牢性を定量的に分析するためのフレームワークです。🏆 NeurIPS 2022 ML Safety Workshop ベストペーパー賞受賞
よくある質問
GitHubで最も人気のある#ai-safetyリポジトリは何ですか?
GitHubで最も上位にランクインしているオープンソースの#ai-safetyプロジェクトは、46,592個のスターを獲得しているifixai-ai/iFixAiです。AIエージェントの独立監査。人間またはエージェント自身が実行し、AIエージェント経済における最も重要な問いに答えます。そのエージェントは本来の役割を果たしているか?iFixAiを使えば、120秒以内にその答えを得ることができます。
#ai-safetyリポジトリで最もよく使われているプログラミング言語は何ですか?
GitHubで上位にランクインしている#ai-safetyプロジェクトでは、Python, TypeScript, Jupyter Notebook, Rustが最も一般的なプログラミング言語です。
#ai-safetyリポジトリのランキングはどのように算出されていますか?
#ai-safetyのタグが付いた53件のアクティブなオープンソースリポジトリ(スター500個以上)を追跡しています。合計スター数は169,967個で、リポジトリあたりの平均は3,206個です。ランキングはGitHub APIからのデータに基づいて毎日更新されます。