#ai-safety Репозитории
Откройте для себя 53 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #ai-safety, с общим числом 169,967 звёзд (в среднем 3,206 на проект). Лидером этой темы является ifixai-ai/iFixAi, набравший 46,592 звёзд.
Всего репозиториев: 53
Независимый аудит ИИ-агентов. Проводится человеком или самим агентом, чтобы ответить на самый важный вопрос в экономике ИИ-агентов: выполняет ли агент то, что должен? С iFixAi вы получите ответ менее чем за 120 секунд.
Полноценная платформа для AI Red Teaming, обеспечивающая безопасность экосистем ИИ с помощью Agent Scan, Skills Scan, MCP Scan, AI Infra Scan и оценки взлома ограничений LLM.
Демо примера использования службы поддержки клиентов, реализованного с помощью OpenAI Agents SDK
Инструментарий по управлению агентами ИИ — Принудительное выполнение политик, идентификация с нулевым доверием, песочница выполнения и инженерия надежности для автономных агентов ИИ. Охватывает 10/10 OWASP Agentic Top 10.
🧠 Кураторская коллекция системных запросов для лучших ИИ-инструментов. Идеально подходит для разработчиков ИИ-агентов и инженеров по работе с запросами. Включая: ChatGPT, Claude, Perplexity, Manus, Claude-Code, Loveable, v0, Grok, same new, windsurf, notion и MetaAI.
Открытый инструментарий Microsoft для тестирования ИИ методом red teaming. Проверяйте генеративные ИИ-системы с помощью автоматизированного сканирования, адаптивных многошаговых атак и веб-интерфейса.
Куратированный список потрясающих ресурсов по ответственному машинному обучению.
Формальная верификация для ИИ: проверка доказательств на основе Lean 4 + Dafny, выявляющая поддельные доказательства ИИ (манипуляцию вознаграждением), и верифицированное рекурсивное самоулучшение (RSI) для агентов программирования. ИИ для математики, физики и разработки программного обеспечения.
[NeurIPS 2026] Сбои безопасности в агентах для программирования и передовых LLM. Воспроизводимые рабочие среды для изучения того, когда ИИ-агенты генерируют небезопасные данные при выполнении задач.
Защита для ИИ-агентов программирования, работающая до выполнения команды. Она блокирует разрушительные команды Git и файловой системы, а также распространённые попытки доступа к конфиденциальным файлам до вызова инструмента. Поддерживаются Amp Code, Antigravity CLI, Claude Code, Codex, Cursor, DeepSeek Harness, Devin CLI, GitHub Copilot CLI, Grok Build, Hermes Agent, Kimi Code, OpenClaw, OpenCode и Pi.
AI Safety HOT: ежедневные новости, статьи и инциденты в области безопасности ИИ в одном месте — джейлбрейки, инъекции промптов, выравнивание, оценки и управление. Сайт, ежедневная сводка, RSS и MCP.
Безопасный RLHF: Ограниченное согласование ценностей посредством безопасного обучения с подкреплением на основе обратной связи от человека
[JMLR 2026] UQLM: пакет Python для обнаружения галлюцинаций больших языковых моделей с помощью количественной оценки неопределённости
Бенчмарк клинических решений и доказательности: выделить единственный факт, на котором основан ответ, и проверить, меняется ли действие ассистента в соответствии с доказательствами. Построен на базе HealthBench.
Подборка исследований рекурсивного самосовершенствования (RSI): модели, агенты, среды-обвязки, воплощённые системы, автоматизированные исследования и разработки в области ИИ, бенчмарки и безопасность.
📖 Кураторский список ресурсов, посвященных галлюцинациям мультимодальных больших языковых моделей (MLLM).
Agentlens — это надежная торговая платформа для агентов. Здесь вы можете быстро найти агента, который соответствует вашим потребностям, а также опубликовать своего собственного агента, превратив его в цифровой актив. Мы призываем каждого превращать свои области знаний в агентов и делать их цифровыми активами, позволяя другим увидеть ваши уникальные сильные стороны.
Веб-фреймворк на Rust, основанный на Axum, с ядрами приложений, проверяемыми с помощью Lean 4 и работающими на серверах, встраиваемых устройствах без ОС и GPU, а также со встроенным тестированием безопасности.
Это репозиторий, который направлен на предоставление обновлений о статусе взлома языковой модели OpenAI GPT.
Инженерия представлений: Подход сверху вниз к прозрачности ИИ
FactCircuit: проверяемый аудитом цикл верификации утверждений и доказательств с неизменяемой информацией о происхождении, поэтапными проверками, ограниченным поиском и воспроизводимой оценкой.
Статьи организованы в соответствии с нашим обзором: Evaluating Large Language Models: A Comprehensive Survey.
Защищённая от подделки трассировка, проверки политик и перекрёстный контроль для ИИ-агентов: узнайте, что сделал агент и почему.
Использовать промпты и методы ролевой игры для обхода ограничений модели ИИ.
Фреймворк для редтиминга и оценки ИИ-агентов, построенный на таксономии ASI01–ASI10, вдохновлённой OWASP
Центр/исследовательская площадка для джейлбрейка LLM и обхода их фильтров безопасности.
Репозиторий ресурсов для машинного обучения в больших языковых моделях
Измерение того, насколько хорошо CLI-агенты, такие как Claude Code или Codex CLI, могут выполнять пост-обучение базовых LLM на одном GPU H100 за 10 часов
Самостоятельно размещаемая плоскость управления средой выполнения для ИИ-агентов. Отслеживайте вызовы инструментов, подтверждайте их с участием человека (HITL) или блокируйте вредоносные вызовы до выполнения — чтобы предотвращать утечки секретов, инъекции промптов, атаки на цепочку поставок и другие угрозы. Управление осуществляется через локальную панель. Не зависит от агента (Claude, Codex, LangChain и др.).
Запускайте ИИ-агентов в изолированной среде, которая ограничивает возможность выполнять команды, читать и записывать данные, а также обращаться к ресурсам в сети. Box сочетает изоляцию на уровне ОС с политиками Dogwood, запрещающими доступ по умолчанию, и внедрением учетных данных, благодаря которому секреты остаются вне агента. Написано на Rust. Поддерживает macOS на Apple silicon и Linux.
Джейлбрейки ИИ: 35 готовых к вставке промптов для обхода ограничений ИИ, предназначенных для более чем 25 передовых моделей и моделей с открытыми весами, — системные промпты, спецификации AGENTS.md и файлы Modelfile для Ollama. Созданы для исследований безопасности ИИ и тестирования красной командой.
Полное руководство по интеграции ИИ в рабочий процесс для начинающих и опытных пользователей
PromptInject — это фреймворк, который собирает промпты модульным способом для обеспечения количественного анализа устойчивости больших языковых моделей (LLM) к состязательным атакам через промпты. 🏆 Награда за лучшую статью на семинаре NeurIPS ML Safety Workshop 2022
Применение политик во время выполнения для ИИ-агентов. Криптографический аудиторский журнал, утверждения с участием человека и аварийный выключатель. Изменения кода не требуются.
Часто задаваемые вопросы
Какой репозиторий по теме #ai-safety наиболее популярен на GitHub?
Самый высоко оценённый проект с открытым исходным кодом по теме #ai-safety на GitHub — ifixai-ai/iFixAi, набравший 46,592 звёзд. Независимый аудит ИИ-агентов. Проводится человеком или самим агентом, чтобы ответить на самый важный вопрос в экономике ИИ-агентов: выполняет ли агент то, что должен? С iFixAi вы получите ответ менее чем за 120 секунд.
Какие языки программирования чаще всего используются в репозиториях по теме #ai-safety?
Среди наиболее высоко оценённых проектов по теме #ai-safety на GitHub чаще всего используются языки программирования Python, TypeScript, Jupyter Notebook, Rust.
Как рассчитывается рейтинг репозиториев по теме #ai-safety?
Мы отслеживаем 53 активных репозиториев с открытым исходным кодом, отмеченных тегом #ai-safety (500 и более звёзд), с общим числом 169,967 звёзд и в среднем 3,206 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.