#llm-security リポジトリ
リポジトリ合計65件
LLMまたはGPTを使用した、Awesomeなセキュリティツール、実験的なケース、その他の興味深いもののキュレーションされたリスト。
JailbreakBench: 言語モデルのジェイルブレイクのためのオープンな堅牢性ベンチマーク [NeurIPS 2024 データセット&ベンチマークトラック]
オープンソースのAIエージェント向けランタイムセキュリティツール。AIエージェントを監視・制御し、悪意のあるツール使用、プロンプトインジェクション、ポリシーの逸脱をエージェントが実行する前にリアルタイムで検知します。
AIエージェント向けのセルフホスト型ランタイム制御プレーン。ローカルダッシュボードから、ツール呼び出しの実行前に監視、人間による承認(HITL)、または不正な呼び出しのブロックが可能です。秘密情報の漏えい、プロンプトインジェクション、サプライチェーン攻撃などを防ぎます。エージェントを問わず利用可能(Claude、Codex、LangChain など)。
🛡️ Model Context Protocol(MCP)サーバー向けのセキュリティ監査CLI。AIエージェントの設定をスキャンし、ツールポイズニング、ラグプル、ハードコードされたシークレット、コマンドインジェクション、サプライチェーンのリスクを検出します。純粋なPython製で、SARIFとCIに対応。
本書では、AIペネトレーションテスト、LLMレッドチーミング、自律型攻撃エージェント、脆弱性発見の分野におけるオープンソースプロジェクト、学術論文、能力ベンチマーク、商用ソリューション(国際および中国)を整理・紹介します。研究者、セキュリティエンジニア、企業の意思決定者が、これらの分野の全体像を迅速に把握できるようにすることを目的としています。