Git Stars Git Stars

#ai-safety Repositorios

Descubre 53 repositorios activos de código abierto de GitHub etiquetados con #ai-safety, que acumulan 169,967 estrellas en total (una media de 3,206 estrellas por proyecto). El líder de este tema es ifixai-ai/iFixAi, con 46,592 estrellas.

53
Total de Repositorios
169,967
Total de estrellas
3,206
Promedio de Estrellas/Repo

53 repositorios en total

1
ifixai-ai/iFixAi

Auditoría independiente de agentes de IA. Ejecutada por humanos o por el propio agente, para responder a la pregunta más crucial en la economía de los agentes de IA: ¿Está el agente haciendo lo que se supone que debe hacer? Con iFixAi, puede obtener esta respuesta en menos de 120 segundos.

ifixai-ai
⭐ 46,592 Python 👤 ifixai-ai Organization 🕐 Actualizado 2026-11-20 📅 Creado 2026-04-27
2
meta-llama/llama3

El sitio oficial de GitHub de Meta Llama 3

meta-llama
⭐ 29,268 Python 👤 meta-llama Organization 🕐 Actualizado 2025-01-26 📅 Creado 2024-03-15
3
Tencent/AI-Infra-Guard

Una plataforma integral de Red Teaming de IA que protege los ecosistemas de IA mediante Agent Scan, Skills Scan, MCP Scan, AI Infra Scan y la evaluación de jailbreaks de LLM.

Tencent
⭐ 7,604 Python 👤 Tencent Organization 🕐 Actualizado 2026-11-20 📅 Creado 2024-12-25
4
openai/openai-cs-agents-demo

Demostración de un caso de uso de servicio al cliente implementado con el SDK de Agentes de OpenAI

openai
⭐ 6,618 Python 👤 openai Organization 🕐 Actualizado 2025-12-18 📅 Creado 2025-06-14
5
microsoft/agent-governance-toolkit

Kit de Herramientas de Gobernanza de Agentes de IA — Cumplimiento de políticas, identidad de confianza cero, sandboxing de ejecución e ingeniería de confiabilidad para agentes de IA autónomos. Cubre 10/10 OWASP Agentic Top 10.

microsoft
⭐ 6,586 Python 👤 microsoft Organization 🕐 Actualizado 2026-11-21 📅 Creado 2026-03-02
6
dontriskit/awesome-ai-system-prompts

🧠 Colección curada de prompts de sistema para las mejores herramientas de IA. Perfecto para constructores de agentes de IA e ingenieros de prompts. Incluyendo: ChatGPT, Claude, Perplexity, Manus, Claude-Code, Loveable, v0, Grok, same new, windsurf, notion y MetaAI.

dontriskit
⭐ 6,302 TypeScript 👤 dontriskit User 🕐 Actualizado 2026-09-29 📅 Creado 2025-03-05
7
microsoft/PyRIT

Kit de herramientas de código abierto de Microsoft para pruebas de red teaming de IA. Pon a prueba sistemas de IA generativa con análisis automatizados, ataques adaptativos de varios turnos y una interfaz web.

microsoft
⭐ 5,003 Python 👤 microsoft Organization 🕐 Actualizado 2026-11-21 📅 Creado 2023-12-12
8
ogx-ai/llama-stack-apps

Componentes agentes de las API de Llama Stack

ogx-ai
⭐ 4,302 👤 ogx-ai Organization 🕐 Actualizado 2025-08-05 📅 Creado 2024-06-25
10
jphall663/awesome-machine-learning-interpretability

Una lista curada de recursos increíbles de aprendizaje automático responsable.

jphall663
⭐ 4,088 👤 jphall663 User 🕐 Actualizado 2026-06-03 📅 Creado 2018-06-21
11
UKGovernmentBEIS/inspect_ai

Inspect: Un framework para la evaluación de modelos de lenguaje grandes

UKGovernmentBEIS
⭐ 3,302 Python 👤 UKGovernmentBEIS Organization 🕐 Actualizado 2026-11-20 📅 Creado 2023-11-14
13
sahibzada-allahyar/Formal-Verification-RSI

Verificación formal para IA: un verificador de pruebas basado en Lean 4 + Dafny que detecta pruebas falsas de IA (manipulación de recompensas), y auto-mejora recursiva (RSI) verificada para agentes de programación. IA para matemáticas, física e ingeniería de software.

sahibzada-allahyar
⭐ 2,910 Python 👤 sahibzada-allahyar User 🕐 Actualizado 2026-10-22 📅 Creado 2025-02-22
14
wuyoscar/Internal-Safety-Collapse

[NeurIPS 2026] Fallos de seguridad en agentes de programación y LLM de vanguardia. Espacios de trabajo reproducibles para estudiar cuándo los agentes de IA generan datos inseguros al completar tareas.

wuyoscar
⭐ 2,623 Python 👤 wuyoscar User 🕐 Actualizado 2026-11-16 📅 Creado 2026-03-01
15
kenryu42/cc-safety-net

Una protección previa a la ejecución para agentes de programación con IA. Bloquea comandos destructivos de Git y del sistema de archivos, así como intentos habituales de acceder a archivos sensibles, antes de que se ejecute una llamada a una herramienta. Compatible con Amp Code, Antigravity CLI, Claude Code, Codex, Cursor, DeepSeek Harness, Devin CLI, GitHub Copilot CLI, Grok Build, Hermes Agent, Kimi Code, OpenClaw, OpenCode y Pi.

kenryu42
⭐ 2,086 TypeScript 👤 kenryu42 User 🕐 Actualizado 2026-11-20 📅 Creado 2025-12-25
16
wuyoscar/AISafetyHot

AI Safety HOT: noticias, artículos e incidentes diarios sobre seguridad de la IA, todo en un solo lugar: jailbreaks, inyección de prompts, alineación, evaluaciones y gobernanza. Sitio web, resumen diario, RSS y MCP.

wuyoscar
⭐ 2,079 TeX 👤 wuyoscar User 🕐 Actualizado 2026-11-21 📅 Creado 2026-10-01
17
centerforaisafety/hle

El último examen de la humanidad

centerforaisafety
⭐ 1,749 Python 👤 centerforaisafety Organization 🕐 Actualizado 2026-09-23 📅 Creado 2025-01-23
19
PKU-Alignment/safe-rlhf

RLHF Seguro: Alineación de Valores Restringida mediante Aprendizaje por Refuerzo Seguro a partir de Retroalimentación Humana

PKU-Alignment
⭐ 1,624 Python 👤 PKU-Alignment Organization 🕐 Actualizado 2025-11-24 📅 Creado 2023-05-15
20
decoderesearch/SAELens

Entrenamiento de Autoencoders Dispersos en Modelos de Lenguaje

decoderesearch
⭐ 1,588 Python 👤 decoderesearch Organization 🕐 Actualizado 2026-11-20 📅 Creado 2023-11-29
21
valqore/valqore

Barreras de seguridad centradas en la protección para operaciones de nube y Kubernetes impulsadas por IA

valqore
⭐ 1,568 Python 👤 valqore Organization 🕐 Actualizado 2026-09-05 📅 Creado 2026-03-04
23
OpenLMLab/MOSS-RLHF

Secretos de RLHF en Modelos de Lenguaje Grandes Parte I: PPO

OpenLMLab
⭐ 1,408 Python 👤 OpenLMLab Organization 🕐 Actualizado 2024-03-03 📅 Creado 2023-07-05
⭐ 1,376 Python 👤 harishsg993010 User 🕐 Actualizado 2026-11-01 📅 Creado 2025-04-16
25
cvs-health/uqlm

[JMLR 2026] UQLM: un paquete de Python para detectar alucinaciones en modelos de lenguaje grandes mediante la cuantificación de la incertidumbre

cvs-health
⭐ 1,215 Python 👤 cvs-health Organization 🕐 Actualizado 2026-11-08 📅 Creado 2025-04-17
26
xinxuxin/keystone-bench

Un punto de referencia de evidencia para decisiones clínicas: extraer el único hecho en el que se basa una respuesta y comprobar si la acción del asistente cambia conforme a la evidencia. Basado en HealthBench.

xinxuxin
⭐ 1,130 Python 👤 xinxuxin User 🕐 Actualizado 2026-10-19 📅 Creado 2026-09-07
27
lobehub/awesome-rsi

Un mapa de investigación seleccionado sobre la automejora recursiva (RSI): modelos, agentes, armazones, sistemas corporizados, I+D automatizada en IA, evaluaciones comparativas y seguridad.

lobehub
⭐ 1,073 👤 lobehub Organization 🕐 Actualizado 2026-11-20 📅 Creado 2026-08-11
28
showlab/Awesome-MLLM-Hallucination

📖 Una lista curada de recursos dedicados a la alucinación de modelos de lenguaje grandes multimodales (MLLM).

showlab
⭐ 1,044 👤 showlab Organization 🕐 Actualizado 2025-09-27 📅 Creado 2023-12-10
29
ZhangJinHaHaHa/AgentLens

Agentlens es una plataforma de comercio de agentes de confianza. Aquí, puede encontrar rápidamente el agente que satisface sus necesidades y también puede publicar su propio agente para convertirlo en su activo digital. Animamos a todos a transformar sus áreas de especialización en agentes y convertirlos en activos digitales, permitiendo que otros vean sus fortalezas únicas.

ZhangJinHaHaHa
⭐ 1,013 TypeScript 👤 ZhangJinHaHaHa User 🕐 Actualizado 2026-08-24 📅 Creado 2026-04-15
30
h5i-dev/h5i

Un framework web de Rust basado en Axum, con núcleos de aplicación verificables con Lean 4 que se ejecutan en servidores, dispositivos integrados bare-metal y GPU, además de pruebas de seguridad integradas.

h5i-dev
⭐ 936 Rust 👤 h5i-dev Organization 🕐 Actualizado 2026-11-20 📅 Creado 2026-03-11
31
tg12/gpt_jailbreak_status

Este es un repositorio que tiene como objetivo proporcionar actualizaciones sobre el estado de la liberación del modelo de lenguaje GPT de OpenAI.

tg12
⭐ 934 HTML 👤 tg12 User 🕐 Actualizado 2026-05-16 📅 Creado 2023-03-01
32
andyzoujm/representation-engineering

Ingeniería de Representación: Un Enfoque Descendente para la Transparencia de la IA

andyzoujm
⭐ 931 Jupyter Notebook 👤 andyzoujm User 🕐 Actualizado 2024-08-14 📅 Creado 2023-09-26
33
superwesleyhys-ux/factcircuit

FactCircuit: un ciclo auditable de verificación de afirmaciones y evidencias, con procedencia inmutable, comprobaciones por etapas, recuperación acotada y evaluación reproducible.

superwesleyhys-ux
⭐ 926 Python 👤 superwesleyhys-ux User 🕐 Actualizado 2026-11-13 📅 Creado 2026-09-06
34
tjunlp-lab/Awesome-LLMs-Evaluation-Papers

Los artículos están organizados de acuerdo con nuestra encuesta: Evaluating Large Language Models: A Comprehensive Survey.

tjunlp-lab
⭐ 791 👤 tjunlp-lab User 🕐 Actualizado 2024-05-08 📅 Creado 2023-10-29
35
Cygnux-Labs/Tracekit

Trazabilidad a prueba de manipulaciones, controles de políticas y verificaciones cruzadas para agentes de IA: descubre qué hizo el agente y por qué.

Cygnux-Labs
⭐ 759 Python 👤 Cygnux-Labs Organization 🕐 Actualizado 2026-11-21 📅 Creado 2026-09-26
37
l0gicx/ai-model-bypass

Explotar indicaciones y técnicas de juego de roles para eludir las restricciones del modelo de IA.

l0gicx
⭐ 722 👤 l0gicx User 🕐 Actualizado 2025-10-04 📅 Creado 2025-05-21
39
AgentSafeLabs/safelabs-eval

Marco de pruebas de equipo rojo y evaluación para agentes de IA, basado en una taxonomía ASI01–ASI10 inspirada en OWASP

AgentSafeLabs
⭐ 713 Python 👤 AgentSafeLabs Organization 🕐 Actualizado 2026-11-06 📅 Creado 2026-05-25
40
lalipa2003-arch/JailbreakHub

Un centro/área de investigación para hacer jailbreak a los LLM y vulnerar sus filtros de seguridad.

lalipa2003-arch
⭐ 687 Roff 👤 lalipa2003-arch User 🕐 Actualizado 2026-11-20 📅 Creado 2026-09-27
41
chrisliu298/awesome-llm-unlearning

Un repositorio de recursos para el desaprendizaje automático en modelos de lenguaje grandes

chrisliu298
⭐ 640 👤 chrisliu298 User 🕐 Actualizado 2026-10-06 📅 Creado 2024-03-27
42
aisa-group/PostTrainBench

Midiendo qué tan bien los agentes CLI como Claude Code o Codex CLI pueden realizar el post-entrenamiento de LLMs base en una sola GPU H100 en 10 horas

aisa-group
⭐ 627 Python 👤 aisa-group Organization 🕐 Actualizado 2026-11-20 📅 Creado 2025-11-28
43
PrismorSec/prismor

Plano de control en tiempo de ejecución autohospedado para agentes de IA. Supervisa, aprueba con intervención humana (HITL) o bloquea llamadas maliciosas a herramientas antes de que se ejecuten, para evitar filtraciones de secretos, inyección de prompts, ataques a la cadena de suministro y otros riesgos, desde un panel local. Compatible con cualquier agente (Claude, Codex, LangChain, etc.).

PrismorSec
⭐ 585 Python 👤 PrismorSec Organization 🕐 Actualizado 2026-11-21 📅 Creado 2026-02-20
44
strands-agents/box

Ejecuta agentes de IA en un entorno aislado que restringe lo que pueden ejecutar, leer y escribir, así como los recursos a los que pueden acceder en la red. Box combina el aislamiento del sistema operativo con las políticas Dogwood de denegación predeterminada y la inyección de credenciales, que mantiene los secretos fuera del agente. Escrito en Rust. Compatible con macOS en Apple silicon y Linux.

strands-agents
⭐ 561 Rust 👤 strands-agents Organization 🕐 Actualizado 2026-11-21 📅 Creado 2026-10-02
45
PacificAI/langtest

Entregar modelos de lenguaje seguros y eficaces

PacificAI
⭐ 560 Python 👤 PacificAI Organization 🕐 Actualizado 2026-11-20 📅 Creado 2022-11-18
46
Alejandros17487/ai-jailbreaks

Jailbreaks de IA: 35 prompts de jailbreak listos para copiar y pegar para más de 25 modelos de vanguardia y de pesos abiertos: prompts de sistema, especificaciones AGENTS.md y archivos Modelfile de Ollama. Diseñados para la investigación de seguridad de IA y las pruebas de red team.

Alejandros17487
⭐ 559 👤 Alejandros17487 User 🕐 Actualizado 2026-10-21 📅 Creado 2026-10-21
47
xop01/ai_goodpractice

Guía completa para ayudarte a integrar la IA en tu flujo de trabajo, tanto si eres principiante como si tienes experiencia

xop01
⭐ 556 👤 xop01 User 🕐 Actualizado 2026-10-02 📅 Creado 2026-10-02
48
opendilab/LLMRiddles

Reproducción/Demostración de Código Abierto del Juego de Acertijos LLM

opendilab
⭐ 549 Python 👤 opendilab Organization 🕐 Actualizado 2024-07-30 📅 Creado 2023-11-07
49
agencyenterprise/PromptInject

PromptInject es un marco que ensambla prompts de manera modular para proporcionar un análisis cuantitativo de la robustez de los LLM frente a ataques de prompts adversarios. 🏆 Premio al Mejor Artículo en el Taller de Seguridad de ML de NeurIPS 2022

agencyenterprise
⭐ 529 Python 👤 agencyenterprise Organization 🕐 Actualizado 2026-04-27 📅 Creado 2022-10-25
50
Justin0504/Aegis

Aplicación de políticas en tiempo de ejecución para agentes de IA. Registro de auditoría criptográfico, aprobaciones con intervención humana e interruptor de apagado. Sin cambios en el código.

Justin0504
⭐ 524 TypeScript 👤 Justin0504 User 🕐 Actualizado 2026-10-31 📅 Creado 2026-03-04

Preguntas frecuentes

1

¿Cuál es el repositorio de #ai-safety más popular en GitHub?

El proyecto de código abierto de #ai-safety mejor posicionado en GitHub es ifixai-ai/iFixAi, con 46,592 estrellas. Auditoría independiente de agentes de IA. Ejecutada por humanos o por el propio agente, para responder a la pregunta más crucial en la economía de los agentes de IA: ¿Está el agente haciendo lo que se supone que debe hacer? Con iFixAi, puede obtener esta respuesta en menos de 120 segundos.

2

¿Qué lenguajes de programación se utilizan más en los repositorios de #ai-safety?

Entre los proyectos de #ai-safety mejor posicionados en GitHub, los lenguajes de programación más comunes son Python, TypeScript, Jupyter Notebook, Rust.

3

¿Cómo se calcula la clasificación de los repositorios de #ai-safety?

Seguimos 53 repositorios activos de código abierto etiquetados con #ai-safety (500+ estrellas), que suman un total de 169,967 estrellas, con una media de 3,206 estrellas por repositorio. Las clasificaciones se actualizan diariamente a partir de la API de GitHub.