#llm-security Репозитории
Всего репозиториев: 65
Кураторский список отличных инструментов безопасности, экспериментальных случаев или других интересных вещей с LLM или GPT.
Детерминированная операционная система, ядро безопасности и причинно-следственная нервная система для ИИ-агентов.
JailbreakBench: Открытый бенчмарк устойчивости для взлома языковых моделей [Трек датасетов и бенчмарков NeurIPS 2024]
Инструмент безопасности для AI-агентов с открытым исходным кодом, работающий в режиме реального времени — отслеживает и контролирует AI-агентов, выявляя вредоносное использование инструментов, инъекции промптов и отклонения от политик до того, как агент совершит действие.
Эмуляция противника с открытым исходным кодом для ИИ-агентов и MCP-серверов.
Самостоятельно размещаемая плоскость управления средой выполнения для ИИ-агентов. Отслеживайте вызовы инструментов, подтверждайте их с участием человека (HITL) или блокируйте вредоносные вызовы до выполнения — чтобы предотвращать утечки секретов, инъекции промптов, атаки на цепочку поставок и другие угрозы. Управление осуществляется через локальную панель. Не зависит от агента (Claude, Codex, LangChain и др.).
🛡️ CLI для аудита безопасности серверов Model Context Protocol (MCP) — проверяет конфигурации ИИ-агентов на отравление инструментов, мошеннические схемы rug pull, секреты, зашитые в код, внедрение команд и риски цепочки поставок. Чистый Python, поддержка SARIF и CI.
Этот репозиторий предоставляет бенчмарк для атак и защиты от внедрения промптов в LLM
В этом документе собраны проекты с открытым исходным кодом, научные статьи, бенчмарки возможностей и коммерческие решения (международные и китайские) в области тестирования на проникновение с использованием ИИ, red teaming для LLM, автономных наступательных агентов и обнаружения уязвимостей. Документ призван помочь исследователям, инженерам по безопасности и лицам, принимающим решения в компаниях, быстро сформировать целостное представление об этой области.