Git Stars Git Stars

#ai-safety Dépôts

Découvrez 53 dépôts GitHub open source actifs associés à #ai-safety, cumulant 169,967 étoiles au total (soit une moyenne de 3,206 étoiles par projet). Le projet en tête de ce thème est ifixai-ai/iFixAi, avec 46,592 étoiles.

53
Total des Dépôts
169,967
Nombre total d'étoiles
3,206
Moyenne d'Étoiles/Dépôt
1
ifixai-ai/iFixAi

Audit indépendant des agents IA. Exécuté par un humain ou par l'agent lui-même, pour répondre à la question la plus cruciale de l'économie des agents IA : l'agent fait-il ce qu'il est censé faire ? Avec iFixAi, vous pouvez obtenir cette réponse en moins de 120 secondes.

ifixai-ai
⭐ 46,592 Python 👤 ifixai-ai Organization 🕐 Mis à jour 2026-11-20 📅 Créé 2026-04-27
2
meta-llama/llama3

Le site GitHub officiel de Meta Llama 3

meta-llama
⭐ 29,268 Python 👤 meta-llama Organization 🕐 Mis à jour 2025-01-26 📅 Créé 2024-03-15
3
Tencent/AI-Infra-Guard

Une plateforme complète de Red Teaming de l’IA qui sécurise les écosystèmes d’IA grâce à Agent Scan, Skills Scan, MCP Scan, AI Infra Scan et à l’évaluation des jailbreaks des LLM.

Tencent
⭐ 7,604 Python 👤 Tencent Organization 🕐 Mis à jour 2026-11-20 📅 Créé 2024-12-25
4
openai/openai-cs-agents-demo

Démo d'un cas d'utilisation du service client implémenté avec le SDK OpenAI Agents

openai
⭐ 6,618 Python 👤 openai Organization 🕐 Mis à jour 2025-12-18 📅 Créé 2025-06-14
5
microsoft/agent-governance-toolkit

Kit d'outils de gouvernance des agents IA — Application des politiques, identité zero-trust, sandboxing d'exécution et ingénierie de la fiabilité pour les agents IA autonomes. Couvre 10/10 OWASP Agentic Top 10.

microsoft
⭐ 6,586 Python 👤 microsoft Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2026-03-02
6
dontriskit/awesome-ai-system-prompts

🧠 Collection organisée de prompts système pour les meilleurs outils d'IA. Parfait pour les constructeurs d'agents IA et les ingénieurs de prompts. Incluant : ChatGPT, Claude, Perplexity, Manus, Claude-Code, Loveable, v0, Grok, same new, windsurf, notion et MetaAI.

dontriskit
⭐ 6,302 TypeScript 👤 dontriskit User 🕐 Mis à jour 2026-09-29 📅 Créé 2025-03-05
7
microsoft/PyRIT

Boîte à outils open source de Microsoft pour le red teaming de l’IA. Testez des systèmes d’IA générative à l’aide d’analyses automatisées, d’attaques adaptatives à plusieurs tours et d’une interface web.

microsoft
⭐ 5,003 Python 👤 microsoft Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2023-12-12
8
ogx-ai/llama-stack-apps

Composants de l'agent des API de la pile Llama

ogx-ai
⭐ 4,302 👤 ogx-ai Organization 🕐 Mis à jour 2025-08-05 📅 Créé 2024-06-25
10
jphall663/awesome-machine-learning-interpretability

Une liste sélectionnée de ressources formidables sur l'apprentissage automatique responsable.

jphall663
⭐ 4,088 👤 jphall663 User 🕐 Mis à jour 2026-06-03 📅 Créé 2018-06-21
11
UKGovernmentBEIS/inspect_ai

Inspect : Un framework pour l'évaluation des grands modèles de langage

UKGovernmentBEIS
⭐ 3,302 Python 👤 UKGovernmentBEIS Organization 🕐 Mis à jour 2026-11-20 📅 Créé 2023-11-14
13
sahibzada-allahyar/Formal-Verification-RSI

Vérification formelle pour l’IA : un vérificateur de preuves basé sur Lean 4 + Dafny qui détecte les fausses preuves générées par l’IA (manipulation des récompenses), ainsi qu’une amélioration récursive de soi (RSI) vérifiée pour les agents de programmation. L’IA au service des mathématiques, de la physique et du génie logiciel.

sahibzada-allahyar
⭐ 2,910 Python 👤 sahibzada-allahyar User 🕐 Mis à jour 2026-10-22 📅 Créé 2025-02-22
14
wuyoscar/Internal-Safety-Collapse

[NeurIPS 2026] Défaillances de sécurité des agents de programmation et des LLM de pointe. Environnements de travail reproductibles pour étudier dans quelles circonstances les agents d’IA génèrent des données non sécurisées lors de l’exécution de tâches.

wuyoscar
⭐ 2,623 Python 👤 wuyoscar User 🕐 Mis à jour 2026-11-16 📅 Créé 2026-03-01
15
kenryu42/cc-safety-net

Une protection préalable à l’exécution pour les agents de programmation IA. Elle bloque les commandes Git et système de fichiers destructrices, ainsi que les tentatives courantes d’accès à des fichiers sensibles, avant l’exécution d’un appel d’outil. Compatible avec Amp Code, Antigravity CLI, Claude Code, Codex, Cursor, DeepSeek Harness, Devin CLI, GitHub Copilot CLI, Grok Build, Hermes Agent, Kimi Code, OpenClaw, OpenCode et Pi.

kenryu42
⭐ 2,086 TypeScript 👤 kenryu42 User 🕐 Mis à jour 2026-11-20 📅 Créé 2025-12-25
16
wuyoscar/AISafetyHot

AI Safety HOT : actualités, articles et incidents quotidiens sur la sécurité de l’IA, réunis en un seul endroit — jailbreaks, injection de prompts, alignement, évaluations et gouvernance. Site web, récapitulatif quotidien, RSS et MCP.

wuyoscar
⭐ 2,079 TeX 👤 wuyoscar User 🕐 Mis à jour 2026-11-21 📅 Créé 2026-10-01
17
centerforaisafety/hle

Le dernier examen de l'humanité

centerforaisafety
⭐ 1,749 Python 👤 centerforaisafety Organization 🕐 Mis à jour 2026-09-23 📅 Créé 2025-01-23
19
PKU-Alignment/safe-rlhf

RLHF Sûr : Alignement des Valeurs Contraints par l'Apprentissage par Renforcement Sûr à partir des Retours Humains

PKU-Alignment
⭐ 1,624 Python 👤 PKU-Alignment Organization 🕐 Mis à jour 2025-11-24 📅 Créé 2023-05-15
20
decoderesearch/SAELens

Entraînement de SPARSE Auto-encodeurs sur des Modèles Linguistiques

decoderesearch
⭐ 1,588 Python 👤 decoderesearch Organization 🕐 Mis à jour 2026-11-20 📅 Créé 2023-11-29
21
valqore/valqore

Gardes-fous axés sur la sécurité pour les opérations cloud et Kubernetes pilotées par l'IA

valqore
⭐ 1,568 Python 👤 valqore Organization 🕐 Mis à jour 2026-09-05 📅 Créé 2026-03-04
23
OpenLMLab/MOSS-RLHF

Les secrets du RLHF dans les grands modèles linguistiques Partie I : PPO

OpenLMLab
⭐ 1,408 Python 👤 OpenLMLab Organization 🕐 Mis à jour 2024-03-03 📅 Créé 2023-07-05
⭐ 1,376 Python 👤 harishsg993010 User 🕐 Mis à jour 2026-11-01 📅 Créé 2025-04-16
25
cvs-health/uqlm

[JMLR 2026] UQLM : un package Python pour détecter les hallucinations des grands modèles de langage à l’aide de la quantification de l’incertitude

cvs-health
⭐ 1,215 Python 👤 cvs-health Organization 🕐 Mis à jour 2026-11-08 📅 Créé 2025-04-17
26
xinxuxin/keystone-bench

Un benchmark de décision clinique fondé sur les preuves : extraire le seul fait sur lequel repose une réponse et vérifier si l’action de l’assistant évolue en fonction des preuves. Construit à partir de HealthBench.

xinxuxin
⭐ 1,130 Python 👤 xinxuxin User 🕐 Mis à jour 2026-10-19 📅 Créé 2026-09-07
27
lobehub/awesome-rsi

Une cartographie sélective de la recherche sur l’auto-amélioration récursive (RSI) : modèles, agents, environnements d’exécution, systèmes incarnés, R&D automatisée en IA, benchmarks et sécurité.

lobehub
⭐ 1,073 👤 lobehub Organization 🕐 Mis à jour 2026-11-20 📅 Créé 2026-08-11
28
showlab/Awesome-MLLM-Hallucination

📖 Une liste organisée de ressources dédiées à l'hallucination des grands modèles linguistiques multimodaux (MLLM).

showlab
⭐ 1,044 👤 showlab Organization 🕐 Mis à jour 2025-09-27 📅 Créé 2023-12-10
29
ZhangJinHaHaHa/AgentLens

Agentlens est une plateforme de trading d'agents de confiance. Ici, vous pouvez trouver rapidement l'agent qui répond à vos besoins, et vous pouvez également publier votre propre agent pour en faire votre actif numérique. Nous encourageons chacun à transformer ses domaines d'expertise en agents et à les convertir en actifs numériques, permettant ainsi aux autres de voir vos forces uniques.

ZhangJinHaHaHa
⭐ 1,013 TypeScript 👤 ZhangJinHaHaHa User 🕐 Mis à jour 2026-08-24 📅 Créé 2026-04-15
30
h5i-dev/h5i

Un framework web Rust basé sur Axum, avec des noyaux applicatifs vérifiables avec Lean 4 et exécutables sur des serveurs, des appareils embarqués bare metal et des GPU, ainsi que des tests de sécurité intégrés.

h5i-dev
⭐ 936 Rust 👤 h5i-dev Organization 🕐 Mis à jour 2026-11-20 📅 Créé 2026-03-11
31
tg12/gpt_jailbreak_status

Ceci est un référentiel qui vise à fournir des mises à jour sur l'état du jailbreak du modèle de langage GPT d'OpenAI.

tg12
⭐ 934 HTML 👤 tg12 User 🕐 Mis à jour 2026-05-16 📅 Créé 2023-03-01
32
andyzoujm/representation-engineering

Ingénierie de la Représentation : Une Approche Descendante pour la Transparence de l'IA

andyzoujm
⭐ 931 Jupyter Notebook 👤 andyzoujm User 🕐 Mis à jour 2024-08-14 📅 Créé 2023-09-26
33
superwesleyhys-ux/factcircuit

FactCircuit : une boucle auditable de vérification des affirmations et des preuves, avec une provenance immuable, des contrôles par étapes, une récupération limitée et une évaluation reproductible.

superwesleyhys-ux
⭐ 926 Python 👤 superwesleyhys-ux User 🕐 Mis à jour 2026-11-13 📅 Créé 2026-09-06
34
tjunlp-lab/Awesome-LLMs-Evaluation-Papers

Les articles sont organisés selon notre étude : Evaluating Large Language Models: A Comprehensive Survey.

tjunlp-lab
⭐ 791 👤 tjunlp-lab User 🕐 Mis à jour 2024-05-08 📅 Créé 2023-10-29
35
Cygnux-Labs/Tracekit

Traçabilité infalsifiable, garde-fous de politique et vérifications croisées pour les agents d’IA : voyez ce que l’agent a fait et pourquoi.

Cygnux-Labs
⭐ 759 Python 👤 Cygnux-Labs Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2026-09-26
37
l0gicx/ai-model-bypass

Exploiter les invites et les techniques de jeu de rôle pour contourner les restrictions des modèles d'IA.

l0gicx
⭐ 722 👤 l0gicx User 🕐 Mis à jour 2025-10-04 📅 Créé 2025-05-21
39
AgentSafeLabs/safelabs-eval

Cadre de tests d’intrusion et d’évaluation pour les agents d’IA, fondé sur une taxonomie ASI01–ASI10 inspirée d’OWASP

AgentSafeLabs
⭐ 713 Python 👤 AgentSafeLabs Organization 🕐 Mis à jour 2026-11-06 📅 Créé 2026-05-25
40
lalipa2003-arch/JailbreakHub

Un espace central/de recherche consacré au jailbreak des LLM et au contournement de leurs filtres de sécurité.

lalipa2003-arch
⭐ 687 Roff 👤 lalipa2003-arch User 🕐 Mis à jour 2026-11-20 📅 Créé 2026-09-27
41
chrisliu298/awesome-llm-unlearning

Un référentiel de ressources pour le désapprentissage automatique dans les grands modèles de langage

chrisliu298
⭐ 640 👤 chrisliu298 User 🕐 Mis à jour 2026-10-06 📅 Créé 2024-03-27
42
aisa-group/PostTrainBench

Mesurer l'efficacité des agents CLI comme Claude Code ou Codex CLI pour le post-entraînement de LLM de base sur un seul GPU H100 en 10 heures

aisa-group
⭐ 627 Python 👤 aisa-group Organization 🕐 Mis à jour 2026-11-20 📅 Créé 2025-11-28
43
PrismorSec/prismor

Plan de contrôle d’exécution auto-hébergé pour les agents d’IA. Surveillez, approuvez avec intervention humaine (HITL) ou bloquez les appels d’outils malveillants avant leur exécution afin d’éviter les fuites de secrets, les injections de prompt, les attaques de la chaîne d’approvisionnement et autres risques, depuis un tableau de bord local. Compatible avec tous les agents (Claude, Codex, LangChain, etc.).

PrismorSec
⭐ 585 Python 👤 PrismorSec Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2026-02-20
44
strands-agents/box

Exécutez des agents d’IA dans un environnement isolé qui limite ce qu’ils peuvent exécuter, lire et écrire, ainsi que les ressources auxquelles ils peuvent accéder sur le réseau. Box associe l’isolation du système d’exploitation aux politiques Dogwood de refus par défaut et à l’injection d’identifiants, qui maintient les secrets hors de portée de l’agent. Écrit en Rust. Compatible avec macOS sur Apple silicon et Linux.

strands-agents
⭐ 561 Rust 👤 strands-agents Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2026-10-02
45
PacificAI/langtest

Fournir des modèles linguistiques sûrs et efficaces

PacificAI
⭐ 560 Python 👤 PacificAI Organization 🕐 Mis à jour 2026-11-20 📅 Créé 2022-11-18
46
Alejandros17487/ai-jailbreaks

Jailbreaks d’IA : 35 prompts de jailbreak prêts à copier-coller pour plus de 25 modèles de pointe et à poids ouverts — prompts système, spécifications AGENTS.md et fichiers Modelfile d’Ollama. Conçus pour la recherche en sécurité de l’IA et les tests red team.

Alejandros17487
⭐ 559 👤 Alejandros17487 User 🕐 Mis à jour 2026-10-21 📅 Créé 2026-10-21
47
xop01/ai_goodpractice

Guide complet pour vous aider à intégrer l’IA à votre flux de travail, que vous soyez débutant ou expérimenté

xop01
⭐ 556 👤 xop01 User 🕐 Mis à jour 2026-10-02 📅 Créé 2026-10-02
48
opendilab/LLMRiddles

Reproduction/Démonstration Open-Source du Jeu d'Énigmes LLM

opendilab
⭐ 549 Python 👤 opendilab Organization 🕐 Mis à jour 2024-07-30 📅 Créé 2023-11-07
49
agencyenterprise/PromptInject

PromptInject est un framework qui assemble des prompts de manière modulaire pour fournir une analyse quantitative de la robustesse des LLM face aux attaques par injection de prompts. 🏆 Prix du meilleur article au NeurIPS ML Safety Workshop 2022

agencyenterprise
⭐ 529 Python 👤 agencyenterprise Organization 🕐 Mis à jour 2026-04-27 📅 Créé 2022-10-25
50
Justin0504/Aegis

Application des politiques à l’exécution pour les agents d’IA. Piste d’audit cryptographique, approbations avec intervention humaine et bouton d’arrêt d’urgence. Aucun changement de code.

Justin0504
⭐ 524 TypeScript 👤 Justin0504 User 🕐 Mis à jour 2026-10-31 📅 Créé 2026-03-04

Foire aux questions

1

Quel est le dépôt #ai-safety le plus populaire sur GitHub ?

Le projet #ai-safety open source le mieux classé sur GitHub est ifixai-ai/iFixAi, avec 46,592 étoiles. Audit indépendant des agents IA. Exécuté par un humain ou par l'agent lui-même, pour répondre à la question la plus cruciale de l'économie des agents IA : l'agent fait-il ce qu'il est censé faire ? Avec iFixAi, vous pouvez obtenir cette réponse en moins de 120 secondes.

2

Quels langages de programmation sont les plus utilisés dans les dépôts #ai-safety ?

Parmi les projets #ai-safety les mieux classés sur GitHub, les langages de programmation les plus courants sont Python, TypeScript, Jupyter Notebook, Rust.

3

Comment le classement des dépôts #ai-safety est-il calculé ?

Nous suivons 53 dépôts open source actifs associés à #ai-safety (500+ étoiles), totalisant 169,967 étoiles, avec une moyenne de 3,206 étoiles par dépôt. Les classements sont mis à jour quotidiennement à partir de l’API GitHub.