#ai-safety Dépôts
Découvrez 53 dépôts GitHub open source actifs associés à #ai-safety, cumulant 169,967 étoiles au total (soit une moyenne de 3,206 étoiles par projet). Le projet en tête de ce thème est ifixai-ai/iFixAi, avec 46,592 étoiles.
53 dépôts au total
Audit indépendant des agents IA. Exécuté par un humain ou par l'agent lui-même, pour répondre à la question la plus cruciale de l'économie des agents IA : l'agent fait-il ce qu'il est censé faire ? Avec iFixAi, vous pouvez obtenir cette réponse en moins de 120 secondes.
Une plateforme complète de Red Teaming de l’IA qui sécurise les écosystèmes d’IA grâce à Agent Scan, Skills Scan, MCP Scan, AI Infra Scan et à l’évaluation des jailbreaks des LLM.
Démo d'un cas d'utilisation du service client implémenté avec le SDK OpenAI Agents
Kit d'outils de gouvernance des agents IA — Application des politiques, identité zero-trust, sandboxing d'exécution et ingénierie de la fiabilité pour les agents IA autonomes. Couvre 10/10 OWASP Agentic Top 10.
🧠 Collection organisée de prompts système pour les meilleurs outils d'IA. Parfait pour les constructeurs d'agents IA et les ingénieurs de prompts. Incluant : ChatGPT, Claude, Perplexity, Manus, Claude-Code, Loveable, v0, Grok, same new, windsurf, notion et MetaAI.
Boîte à outils open source de Microsoft pour le red teaming de l’IA. Testez des systèmes d’IA générative à l’aide d’analyses automatisées, d’attaques adaptatives à plusieurs tours et d’une interface web.
Une liste sélectionnée de ressources formidables sur l'apprentissage automatique responsable.
Inspect : Un framework pour l'évaluation des grands modèles de langage
Vérification formelle pour l’IA : un vérificateur de preuves basé sur Lean 4 + Dafny qui détecte les fausses preuves générées par l’IA (manipulation des récompenses), ainsi qu’une amélioration récursive de soi (RSI) vérifiée pour les agents de programmation. L’IA au service des mathématiques, de la physique et du génie logiciel.
[NeurIPS 2026] Défaillances de sécurité des agents de programmation et des LLM de pointe. Environnements de travail reproductibles pour étudier dans quelles circonstances les agents d’IA génèrent des données non sécurisées lors de l’exécution de tâches.
Une protection préalable à l’exécution pour les agents de programmation IA. Elle bloque les commandes Git et système de fichiers destructrices, ainsi que les tentatives courantes d’accès à des fichiers sensibles, avant l’exécution d’un appel d’outil. Compatible avec Amp Code, Antigravity CLI, Claude Code, Codex, Cursor, DeepSeek Harness, Devin CLI, GitHub Copilot CLI, Grok Build, Hermes Agent, Kimi Code, OpenClaw, OpenCode et Pi.
AI Safety HOT : actualités, articles et incidents quotidiens sur la sécurité de l’IA, réunis en un seul endroit — jailbreaks, injection de prompts, alignement, évaluations et gouvernance. Site web, récapitulatif quotidien, RSS et MCP.
RLHF Sûr : Alignement des Valeurs Contraints par l'Apprentissage par Renforcement Sûr à partir des Retours Humains
Gardes-fous axés sur la sécurité pour les opérations cloud et Kubernetes pilotées par l'IA
[JMLR 2026] UQLM : un package Python pour détecter les hallucinations des grands modèles de langage à l’aide de la quantification de l’incertitude
Un benchmark de décision clinique fondé sur les preuves : extraire le seul fait sur lequel repose une réponse et vérifier si l’action de l’assistant évolue en fonction des preuves. Construit à partir de HealthBench.
Une cartographie sélective de la recherche sur l’auto-amélioration récursive (RSI) : modèles, agents, environnements d’exécution, systèmes incarnés, R&D automatisée en IA, benchmarks et sécurité.
📖 Une liste organisée de ressources dédiées à l'hallucination des grands modèles linguistiques multimodaux (MLLM).
Agentlens est une plateforme de trading d'agents de confiance. Ici, vous pouvez trouver rapidement l'agent qui répond à vos besoins, et vous pouvez également publier votre propre agent pour en faire votre actif numérique. Nous encourageons chacun à transformer ses domaines d'expertise en agents et à les convertir en actifs numériques, permettant ainsi aux autres de voir vos forces uniques.
Un framework web Rust basé sur Axum, avec des noyaux applicatifs vérifiables avec Lean 4 et exécutables sur des serveurs, des appareils embarqués bare metal et des GPU, ainsi que des tests de sécurité intégrés.
Ceci est un référentiel qui vise à fournir des mises à jour sur l'état du jailbreak du modèle de langage GPT d'OpenAI.
Ingénierie de la Représentation : Une Approche Descendante pour la Transparence de l'IA
FactCircuit : une boucle auditable de vérification des affirmations et des preuves, avec une provenance immuable, des contrôles par étapes, une récupération limitée et une évaluation reproductible.
Les articles sont organisés selon notre étude : Evaluating Large Language Models: A Comprehensive Survey.
Traçabilité infalsifiable, garde-fous de politique et vérifications croisées pour les agents d’IA : voyez ce que l’agent a fait et pourquoi.
Exploiter les invites et les techniques de jeu de rôle pour contourner les restrictions des modèles d'IA.
Cadre de tests d’intrusion et d’évaluation pour les agents d’IA, fondé sur une taxonomie ASI01–ASI10 inspirée d’OWASP
Un espace central/de recherche consacré au jailbreak des LLM et au contournement de leurs filtres de sécurité.
Un référentiel de ressources pour le désapprentissage automatique dans les grands modèles de langage
Mesurer l'efficacité des agents CLI comme Claude Code ou Codex CLI pour le post-entraînement de LLM de base sur un seul GPU H100 en 10 heures
Plan de contrôle d’exécution auto-hébergé pour les agents d’IA. Surveillez, approuvez avec intervention humaine (HITL) ou bloquez les appels d’outils malveillants avant leur exécution afin d’éviter les fuites de secrets, les injections de prompt, les attaques de la chaîne d’approvisionnement et autres risques, depuis un tableau de bord local. Compatible avec tous les agents (Claude, Codex, LangChain, etc.).
Exécutez des agents d’IA dans un environnement isolé qui limite ce qu’ils peuvent exécuter, lire et écrire, ainsi que les ressources auxquelles ils peuvent accéder sur le réseau. Box associe l’isolation du système d’exploitation aux politiques Dogwood de refus par défaut et à l’injection d’identifiants, qui maintient les secrets hors de portée de l’agent. Écrit en Rust. Compatible avec macOS sur Apple silicon et Linux.
Jailbreaks d’IA : 35 prompts de jailbreak prêts à copier-coller pour plus de 25 modèles de pointe et à poids ouverts — prompts système, spécifications AGENTS.md et fichiers Modelfile d’Ollama. Conçus pour la recherche en sécurité de l’IA et les tests red team.
Guide complet pour vous aider à intégrer l’IA à votre flux de travail, que vous soyez débutant ou expérimenté
PromptInject est un framework qui assemble des prompts de manière modulaire pour fournir une analyse quantitative de la robustesse des LLM face aux attaques par injection de prompts. 🏆 Prix du meilleur article au NeurIPS ML Safety Workshop 2022
Application des politiques à l’exécution pour les agents d’IA. Piste d’audit cryptographique, approbations avec intervention humaine et bouton d’arrêt d’urgence. Aucun changement de code.
Foire aux questions
Quel est le dépôt #ai-safety le plus populaire sur GitHub ?
Le projet #ai-safety open source le mieux classé sur GitHub est ifixai-ai/iFixAi, avec 46,592 étoiles. Audit indépendant des agents IA. Exécuté par un humain ou par l'agent lui-même, pour répondre à la question la plus cruciale de l'économie des agents IA : l'agent fait-il ce qu'il est censé faire ? Avec iFixAi, vous pouvez obtenir cette réponse en moins de 120 secondes.
Quels langages de programmation sont les plus utilisés dans les dépôts #ai-safety ?
Parmi les projets #ai-safety les mieux classés sur GitHub, les langages de programmation les plus courants sont Python, TypeScript, Jupyter Notebook, Rust.
Comment le classement des dépôts #ai-safety est-il calculé ?
Nous suivons 53 dépôts open source actifs associés à #ai-safety (500+ étoiles), totalisant 169,967 étoiles, avec une moyenne de 3,206 étoiles par dépôt. Les classements sont mis à jour quotidiennement à partir de l’API GitHub.