Git Stars Git Stars

#ai-safety Репозитории

Откройте для себя 53 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #ai-safety, с общим числом 169,967 звёзд (в среднем 3,206 на проект). Лидером этой темы является ifixai-ai/iFixAi, набравший 46,592 звёзд.

53
Всего репозиториев
169,967
Всего звезд
3,206
Среднее количество звезд на репозиторий

Всего репозиториев: 53

1
ifixai-ai/iFixAi

Независимый аудит ИИ-агентов. Проводится человеком или самим агентом, чтобы ответить на самый важный вопрос в экономике ИИ-агентов: выполняет ли агент то, что должен? С iFixAi вы получите ответ менее чем за 120 секунд.

ifixai-ai
⭐ 46,592 Python 👤 ifixai-ai Organization 🕐 Обновлено 2026-11-20 📅 Создано 2026-04-27
2
meta-llama/llama3

Официальный сайт Meta Llama 3 на GitHub

meta-llama
⭐ 29,268 Python 👤 meta-llama Organization 🕐 Обновлено 2025-01-26 📅 Создано 2024-03-15
3
Tencent/AI-Infra-Guard

Полноценная платформа для AI Red Teaming, обеспечивающая безопасность экосистем ИИ с помощью Agent Scan, Skills Scan, MCP Scan, AI Infra Scan и оценки взлома ограничений LLM.

Tencent
⭐ 7,604 Python 👤 Tencent Organization 🕐 Обновлено 2026-11-20 📅 Создано 2024-12-25
4
openai/openai-cs-agents-demo

Демо примера использования службы поддержки клиентов, реализованного с помощью OpenAI Agents SDK

openai
⭐ 6,618 Python 👤 openai Organization 🕐 Обновлено 2025-12-18 📅 Создано 2025-06-14
5
microsoft/agent-governance-toolkit

Инструментарий по управлению агентами ИИ — Принудительное выполнение политик, идентификация с нулевым доверием, песочница выполнения и инженерия надежности для автономных агентов ИИ. Охватывает 10/10 OWASP Agentic Top 10.

microsoft
⭐ 6,586 Python 👤 microsoft Organization 🕐 Обновлено 2026-11-21 📅 Создано 2026-03-02
6
dontriskit/awesome-ai-system-prompts

🧠 Кураторская коллекция системных запросов для лучших ИИ-инструментов. Идеально подходит для разработчиков ИИ-агентов и инженеров по работе с запросами. Включая: ChatGPT, Claude, Perplexity, Manus, Claude-Code, Loveable, v0, Grok, same new, windsurf, notion и MetaAI.

dontriskit
⭐ 6,302 TypeScript 👤 dontriskit User 🕐 Обновлено 2026-09-29 📅 Создано 2025-03-05
7
microsoft/PyRIT

Открытый инструментарий Microsoft для тестирования ИИ методом red teaming. Проверяйте генеративные ИИ-системы с помощью автоматизированного сканирования, адаптивных многошаговых атак и веб-интерфейса.

microsoft
⭐ 5,003 Python 👤 microsoft Organization 🕐 Обновлено 2026-11-21 📅 Создано 2023-12-12
8
ogx-ai/llama-stack-apps

Агентные компоненты API Llama Stack

ogx-ai
⭐ 4,302 👤 ogx-ai Organization 🕐 Обновлено 2025-08-05 📅 Создано 2024-06-25
10
jphall663/awesome-machine-learning-interpretability

Куратированный список потрясающих ресурсов по ответственному машинному обучению.

jphall663
⭐ 4,088 👤 jphall663 User 🕐 Обновлено 2026-06-03 📅 Создано 2018-06-21
11
UKGovernmentBEIS/inspect_ai

Inspect: Фреймворк для оценки больших языковых моделей

UKGovernmentBEIS
⭐ 3,302 Python 👤 UKGovernmentBEIS Organization 🕐 Обновлено 2026-11-20 📅 Создано 2023-11-14
13
sahibzada-allahyar/Formal-Verification-RSI

Формальная верификация для ИИ: проверка доказательств на основе Lean 4 + Dafny, выявляющая поддельные доказательства ИИ (манипуляцию вознаграждением), и верифицированное рекурсивное самоулучшение (RSI) для агентов программирования. ИИ для математики, физики и разработки программного обеспечения.

sahibzada-allahyar
⭐ 2,910 Python 👤 sahibzada-allahyar User 🕐 Обновлено 2026-10-22 📅 Создано 2025-02-22
14
wuyoscar/Internal-Safety-Collapse

[NeurIPS 2026] Сбои безопасности в агентах для программирования и передовых LLM. Воспроизводимые рабочие среды для изучения того, когда ИИ-агенты генерируют небезопасные данные при выполнении задач.

wuyoscar
⭐ 2,623 Python 👤 wuyoscar User 🕐 Обновлено 2026-11-16 📅 Создано 2026-03-01
15
kenryu42/cc-safety-net

Защита для ИИ-агентов программирования, работающая до выполнения команды. Она блокирует разрушительные команды Git и файловой системы, а также распространённые попытки доступа к конфиденциальным файлам до вызова инструмента. Поддерживаются Amp Code, Antigravity CLI, Claude Code, Codex, Cursor, DeepSeek Harness, Devin CLI, GitHub Copilot CLI, Grok Build, Hermes Agent, Kimi Code, OpenClaw, OpenCode и Pi.

kenryu42
⭐ 2,086 TypeScript 👤 kenryu42 User 🕐 Обновлено 2026-11-20 📅 Создано 2025-12-25
16
wuyoscar/AISafetyHot

AI Safety HOT: ежедневные новости, статьи и инциденты в области безопасности ИИ в одном месте — джейлбрейки, инъекции промптов, выравнивание, оценки и управление. Сайт, ежедневная сводка, RSS и MCP.

wuyoscar
⭐ 2,079 TeX 👤 wuyoscar User 🕐 Обновлено 2026-11-21 📅 Создано 2026-10-01
17
centerforaisafety/hle

Последний экзамен человечества

centerforaisafety
⭐ 1,749 Python 👤 centerforaisafety Organization 🕐 Обновлено 2026-09-23 📅 Создано 2025-01-23
19
PKU-Alignment/safe-rlhf

Безопасный RLHF: Ограниченное согласование ценностей посредством безопасного обучения с подкреплением на основе обратной связи от человека

PKU-Alignment
⭐ 1,624 Python 👤 PKU-Alignment Organization 🕐 Обновлено 2025-11-24 📅 Создано 2023-05-15
20
decoderesearch/SAELens

Обучение разреженных автокодировщиков на языковых моделях

decoderesearch
⭐ 1,588 Python 👤 decoderesearch Organization 🕐 Обновлено 2026-11-20 📅 Создано 2023-11-29
21
valqore/valqore

Меры безопасности для облачных операций и Kubernetes на базе ИИ

valqore
⭐ 1,568 Python 👤 valqore Organization 🕐 Обновлено 2026-09-05 📅 Создано 2026-03-04
23
OpenLMLab/MOSS-RLHF

Секреты RLHF в больших языковых моделях Часть I: PPO

OpenLMLab
⭐ 1,408 Python 👤 OpenLMLab Organization 🕐 Обновлено 2024-03-03 📅 Создано 2023-07-05
⭐ 1,376 Python 👤 harishsg993010 User 🕐 Обновлено 2026-11-01 📅 Создано 2025-04-16
25
cvs-health/uqlm

[JMLR 2026] UQLM: пакет Python для обнаружения галлюцинаций больших языковых моделей с помощью количественной оценки неопределённости

cvs-health
⭐ 1,215 Python 👤 cvs-health Organization 🕐 Обновлено 2026-11-08 📅 Создано 2025-04-17
26
xinxuxin/keystone-bench

Бенчмарк клинических решений и доказательности: выделить единственный факт, на котором основан ответ, и проверить, меняется ли действие ассистента в соответствии с доказательствами. Построен на базе HealthBench.

xinxuxin
⭐ 1,130 Python 👤 xinxuxin User 🕐 Обновлено 2026-10-19 📅 Создано 2026-09-07
27
lobehub/awesome-rsi

Подборка исследований рекурсивного самосовершенствования (RSI): модели, агенты, среды-обвязки, воплощённые системы, автоматизированные исследования и разработки в области ИИ, бенчмарки и безопасность.

lobehub
⭐ 1,073 👤 lobehub Organization 🕐 Обновлено 2026-11-20 📅 Создано 2026-08-11
28
showlab/Awesome-MLLM-Hallucination

📖 Кураторский список ресурсов, посвященных галлюцинациям мультимодальных больших языковых моделей (MLLM).

showlab
⭐ 1,044 👤 showlab Organization 🕐 Обновлено 2025-09-27 📅 Создано 2023-12-10
29
ZhangJinHaHaHa/AgentLens

Agentlens — это надежная торговая платформа для агентов. Здесь вы можете быстро найти агента, который соответствует вашим потребностям, а также опубликовать своего собственного агента, превратив его в цифровой актив. Мы призываем каждого превращать свои области знаний в агентов и делать их цифровыми активами, позволяя другим увидеть ваши уникальные сильные стороны.

ZhangJinHaHaHa
⭐ 1,013 TypeScript 👤 ZhangJinHaHaHa User 🕐 Обновлено 2026-08-24 📅 Создано 2026-04-15
30
h5i-dev/h5i

Веб-фреймворк на Rust, основанный на Axum, с ядрами приложений, проверяемыми с помощью Lean 4 и работающими на серверах, встраиваемых устройствах без ОС и GPU, а также со встроенным тестированием безопасности.

h5i-dev
⭐ 936 Rust 👤 h5i-dev Organization 🕐 Обновлено 2026-11-20 📅 Создано 2026-03-11
31
tg12/gpt_jailbreak_status

Это репозиторий, который направлен на предоставление обновлений о статусе взлома языковой модели OpenAI GPT.

tg12
⭐ 934 HTML 👤 tg12 User 🕐 Обновлено 2026-05-16 📅 Создано 2023-03-01
32
andyzoujm/representation-engineering

Инженерия представлений: Подход сверху вниз к прозрачности ИИ

andyzoujm
⭐ 931 Jupyter Notebook 👤 andyzoujm User 🕐 Обновлено 2024-08-14 📅 Создано 2023-09-26
33
superwesleyhys-ux/factcircuit

FactCircuit: проверяемый аудитом цикл верификации утверждений и доказательств с неизменяемой информацией о происхождении, поэтапными проверками, ограниченным поиском и воспроизводимой оценкой.

superwesleyhys-ux
⭐ 926 Python 👤 superwesleyhys-ux User 🕐 Обновлено 2026-11-13 📅 Создано 2026-09-06
34
tjunlp-lab/Awesome-LLMs-Evaluation-Papers

Статьи организованы в соответствии с нашим обзором: Evaluating Large Language Models: A Comprehensive Survey.

tjunlp-lab
⭐ 791 👤 tjunlp-lab User 🕐 Обновлено 2024-05-08 📅 Создано 2023-10-29
35
Cygnux-Labs/Tracekit

Защищённая от подделки трассировка, проверки политик и перекрёстный контроль для ИИ-агентов: узнайте, что сделал агент и почему.

Cygnux-Labs
⭐ 759 Python 👤 Cygnux-Labs Organization 🕐 Обновлено 2026-11-21 📅 Создано 2026-09-26
37
l0gicx/ai-model-bypass

Использовать промпты и методы ролевой игры для обхода ограничений модели ИИ.

l0gicx
⭐ 722 👤 l0gicx User 🕐 Обновлено 2025-10-04 📅 Создано 2025-05-21
39
AgentSafeLabs/safelabs-eval

Фреймворк для редтиминга и оценки ИИ-агентов, построенный на таксономии ASI01–ASI10, вдохновлённой OWASP

AgentSafeLabs
⭐ 713 Python 👤 AgentSafeLabs Organization 🕐 Обновлено 2026-11-06 📅 Создано 2026-05-25
40
lalipa2003-arch/JailbreakHub

Центр/исследовательская площадка для джейлбрейка LLM и обхода их фильтров безопасности.

lalipa2003-arch
⭐ 687 Roff 👤 lalipa2003-arch User 🕐 Обновлено 2026-11-20 📅 Создано 2026-09-27
41
chrisliu298/awesome-llm-unlearning

Репозиторий ресурсов для машинного обучения в больших языковых моделях

chrisliu298
⭐ 640 👤 chrisliu298 User 🕐 Обновлено 2026-10-06 📅 Создано 2024-03-27
42
aisa-group/PostTrainBench

Измерение того, насколько хорошо CLI-агенты, такие как Claude Code или Codex CLI, могут выполнять пост-обучение базовых LLM на одном GPU H100 за 10 часов

aisa-group
⭐ 627 Python 👤 aisa-group Organization 🕐 Обновлено 2026-11-20 📅 Создано 2025-11-28
43
PrismorSec/prismor

Самостоятельно размещаемая плоскость управления средой выполнения для ИИ-агентов. Отслеживайте вызовы инструментов, подтверждайте их с участием человека (HITL) или блокируйте вредоносные вызовы до выполнения — чтобы предотвращать утечки секретов, инъекции промптов, атаки на цепочку поставок и другие угрозы. Управление осуществляется через локальную панель. Не зависит от агента (Claude, Codex, LangChain и др.).

PrismorSec
⭐ 585 Python 👤 PrismorSec Organization 🕐 Обновлено 2026-11-21 📅 Создано 2026-02-20
44
strands-agents/box

Запускайте ИИ-агентов в изолированной среде, которая ограничивает возможность выполнять команды, читать и записывать данные, а также обращаться к ресурсам в сети. Box сочетает изоляцию на уровне ОС с политиками Dogwood, запрещающими доступ по умолчанию, и внедрением учетных данных, благодаря которому секреты остаются вне агента. Написано на Rust. Поддерживает macOS на Apple silicon и Linux.

strands-agents
⭐ 561 Rust 👤 strands-agents Organization 🕐 Обновлено 2026-11-21 📅 Создано 2026-10-02
45
PacificAI/langtest

Предоставляйте безопасные и эффективные языковые модели

PacificAI
⭐ 560 Python 👤 PacificAI Organization 🕐 Обновлено 2026-11-20 📅 Создано 2022-11-18
46
Alejandros17487/ai-jailbreaks

Джейлбрейки ИИ: 35 готовых к вставке промптов для обхода ограничений ИИ, предназначенных для более чем 25 передовых моделей и моделей с открытыми весами, — системные промпты, спецификации AGENTS.md и файлы Modelfile для Ollama. Созданы для исследований безопасности ИИ и тестирования красной командой.

Alejandros17487
⭐ 559 👤 Alejandros17487 User 🕐 Обновлено 2026-10-21 📅 Создано 2026-10-21
47
xop01/ai_goodpractice

Полное руководство по интеграции ИИ в рабочий процесс для начинающих и опытных пользователей

xop01
⭐ 556 👤 xop01 User 🕐 Обновлено 2026-10-02 📅 Создано 2026-10-02
48
opendilab/LLMRiddles

Воспроизведение/Демонстрация с открытым исходным кодом игры «Загадки LLM»

opendilab
⭐ 549 Python 👤 opendilab Organization 🕐 Обновлено 2024-07-30 📅 Создано 2023-11-07
49
agencyenterprise/PromptInject

PromptInject — это фреймворк, который собирает промпты модульным способом для обеспечения количественного анализа устойчивости больших языковых моделей (LLM) к состязательным атакам через промпты. 🏆 Награда за лучшую статью на семинаре NeurIPS ML Safety Workshop 2022

agencyenterprise
⭐ 529 Python 👤 agencyenterprise Organization 🕐 Обновлено 2026-04-27 📅 Создано 2022-10-25
50
Justin0504/Aegis

Применение политик во время выполнения для ИИ-агентов. Криптографический аудиторский журнал, утверждения с участием человека и аварийный выключатель. Изменения кода не требуются.

Justin0504
⭐ 524 TypeScript 👤 Justin0504 User 🕐 Обновлено 2026-10-31 📅 Создано 2026-03-04

Часто задаваемые вопросы

1

Какой репозиторий по теме #ai-safety наиболее популярен на GitHub?

Самый высоко оценённый проект с открытым исходным кодом по теме #ai-safety на GitHub — ifixai-ai/iFixAi, набравший 46,592 звёзд. Независимый аудит ИИ-агентов. Проводится человеком или самим агентом, чтобы ответить на самый важный вопрос в экономике ИИ-агентов: выполняет ли агент то, что должен? С iFixAi вы получите ответ менее чем за 120 секунд.

2

Какие языки программирования чаще всего используются в репозиториях по теме #ai-safety?

Среди наиболее высоко оценённых проектов по теме #ai-safety на GitHub чаще всего используются языки программирования Python, TypeScript, Jupyter Notebook, Rust.

3

Как рассчитывается рейтинг репозиториев по теме #ai-safety?

Мы отслеживаем 53 активных репозиториев с открытым исходным кодом, отмеченных тегом #ai-safety (500 и более звёзд), с общим числом 169,967 звёзд и в среднем 3,206 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.