#ai-safety Repositorios
Descubre 53 repositorios activos de código abierto de GitHub etiquetados con #ai-safety, que acumulan 169,967 estrellas en total (una media de 3,206 estrellas por proyecto). El líder de este tema es ifixai-ai/iFixAi, con 46,592 estrellas.
53 repositorios en total
Auditoría independiente de agentes de IA. Ejecutada por humanos o por el propio agente, para responder a la pregunta más crucial en la economía de los agentes de IA: ¿Está el agente haciendo lo que se supone que debe hacer? Con iFixAi, puede obtener esta respuesta en menos de 120 segundos.
Una plataforma integral de Red Teaming de IA que protege los ecosistemas de IA mediante Agent Scan, Skills Scan, MCP Scan, AI Infra Scan y la evaluación de jailbreaks de LLM.
Demostración de un caso de uso de servicio al cliente implementado con el SDK de Agentes de OpenAI
Kit de Herramientas de Gobernanza de Agentes de IA — Cumplimiento de políticas, identidad de confianza cero, sandboxing de ejecución e ingeniería de confiabilidad para agentes de IA autónomos. Cubre 10/10 OWASP Agentic Top 10.
🧠 Colección curada de prompts de sistema para las mejores herramientas de IA. Perfecto para constructores de agentes de IA e ingenieros de prompts. Incluyendo: ChatGPT, Claude, Perplexity, Manus, Claude-Code, Loveable, v0, Grok, same new, windsurf, notion y MetaAI.
Kit de herramientas de código abierto de Microsoft para pruebas de red teaming de IA. Pon a prueba sistemas de IA generativa con análisis automatizados, ataques adaptativos de varios turnos y una interfaz web.
Una lista curada de recursos increíbles de aprendizaje automático responsable.
Inspect: Un framework para la evaluación de modelos de lenguaje grandes
Verificación formal para IA: un verificador de pruebas basado en Lean 4 + Dafny que detecta pruebas falsas de IA (manipulación de recompensas), y auto-mejora recursiva (RSI) verificada para agentes de programación. IA para matemáticas, física e ingeniería de software.
[NeurIPS 2026] Fallos de seguridad en agentes de programación y LLM de vanguardia. Espacios de trabajo reproducibles para estudiar cuándo los agentes de IA generan datos inseguros al completar tareas.
Una protección previa a la ejecución para agentes de programación con IA. Bloquea comandos destructivos de Git y del sistema de archivos, así como intentos habituales de acceder a archivos sensibles, antes de que se ejecute una llamada a una herramienta. Compatible con Amp Code, Antigravity CLI, Claude Code, Codex, Cursor, DeepSeek Harness, Devin CLI, GitHub Copilot CLI, Grok Build, Hermes Agent, Kimi Code, OpenClaw, OpenCode y Pi.
AI Safety HOT: noticias, artículos e incidentes diarios sobre seguridad de la IA, todo en un solo lugar: jailbreaks, inyección de prompts, alineación, evaluaciones y gobernanza. Sitio web, resumen diario, RSS y MCP.
RLHF Seguro: Alineación de Valores Restringida mediante Aprendizaje por Refuerzo Seguro a partir de Retroalimentación Humana
Barreras de seguridad centradas en la protección para operaciones de nube y Kubernetes impulsadas por IA
[JMLR 2026] UQLM: un paquete de Python para detectar alucinaciones en modelos de lenguaje grandes mediante la cuantificación de la incertidumbre
Un punto de referencia de evidencia para decisiones clínicas: extraer el único hecho en el que se basa una respuesta y comprobar si la acción del asistente cambia conforme a la evidencia. Basado en HealthBench.
Un mapa de investigación seleccionado sobre la automejora recursiva (RSI): modelos, agentes, armazones, sistemas corporizados, I+D automatizada en IA, evaluaciones comparativas y seguridad.
📖 Una lista curada de recursos dedicados a la alucinación de modelos de lenguaje grandes multimodales (MLLM).
Agentlens es una plataforma de comercio de agentes de confianza. Aquí, puede encontrar rápidamente el agente que satisface sus necesidades y también puede publicar su propio agente para convertirlo en su activo digital. Animamos a todos a transformar sus áreas de especialización en agentes y convertirlos en activos digitales, permitiendo que otros vean sus fortalezas únicas.
Un framework web de Rust basado en Axum, con núcleos de aplicación verificables con Lean 4 que se ejecutan en servidores, dispositivos integrados bare-metal y GPU, además de pruebas de seguridad integradas.
Este es un repositorio que tiene como objetivo proporcionar actualizaciones sobre el estado de la liberación del modelo de lenguaje GPT de OpenAI.
Ingeniería de Representación: Un Enfoque Descendente para la Transparencia de la IA
FactCircuit: un ciclo auditable de verificación de afirmaciones y evidencias, con procedencia inmutable, comprobaciones por etapas, recuperación acotada y evaluación reproducible.
Los artículos están organizados de acuerdo con nuestra encuesta: Evaluating Large Language Models: A Comprehensive Survey.
Trazabilidad a prueba de manipulaciones, controles de políticas y verificaciones cruzadas para agentes de IA: descubre qué hizo el agente y por qué.
Explotar indicaciones y técnicas de juego de roles para eludir las restricciones del modelo de IA.
Marco de pruebas de equipo rojo y evaluación para agentes de IA, basado en una taxonomía ASI01–ASI10 inspirada en OWASP
Un centro/área de investigación para hacer jailbreak a los LLM y vulnerar sus filtros de seguridad.
Un repositorio de recursos para el desaprendizaje automático en modelos de lenguaje grandes
Midiendo qué tan bien los agentes CLI como Claude Code o Codex CLI pueden realizar el post-entrenamiento de LLMs base en una sola GPU H100 en 10 horas
Plano de control en tiempo de ejecución autohospedado para agentes de IA. Supervisa, aprueba con intervención humana (HITL) o bloquea llamadas maliciosas a herramientas antes de que se ejecuten, para evitar filtraciones de secretos, inyección de prompts, ataques a la cadena de suministro y otros riesgos, desde un panel local. Compatible con cualquier agente (Claude, Codex, LangChain, etc.).
Ejecuta agentes de IA en un entorno aislado que restringe lo que pueden ejecutar, leer y escribir, así como los recursos a los que pueden acceder en la red. Box combina el aislamiento del sistema operativo con las políticas Dogwood de denegación predeterminada y la inyección de credenciales, que mantiene los secretos fuera del agente. Escrito en Rust. Compatible con macOS en Apple silicon y Linux.
Jailbreaks de IA: 35 prompts de jailbreak listos para copiar y pegar para más de 25 modelos de vanguardia y de pesos abiertos: prompts de sistema, especificaciones AGENTS.md y archivos Modelfile de Ollama. Diseñados para la investigación de seguridad de IA y las pruebas de red team.
Guía completa para ayudarte a integrar la IA en tu flujo de trabajo, tanto si eres principiante como si tienes experiencia
PromptInject es un marco que ensambla prompts de manera modular para proporcionar un análisis cuantitativo de la robustez de los LLM frente a ataques de prompts adversarios. 🏆 Premio al Mejor Artículo en el Taller de Seguridad de ML de NeurIPS 2022
Aplicación de políticas en tiempo de ejecución para agentes de IA. Registro de auditoría criptográfico, aprobaciones con intervención humana e interruptor de apagado. Sin cambios en el código.
Preguntas frecuentes
¿Cuál es el repositorio de #ai-safety más popular en GitHub?
El proyecto de código abierto de #ai-safety mejor posicionado en GitHub es ifixai-ai/iFixAi, con 46,592 estrellas. Auditoría independiente de agentes de IA. Ejecutada por humanos o por el propio agente, para responder a la pregunta más crucial en la economía de los agentes de IA: ¿Está el agente haciendo lo que se supone que debe hacer? Con iFixAi, puede obtener esta respuesta en menos de 120 segundos.
¿Qué lenguajes de programación se utilizan más en los repositorios de #ai-safety?
Entre los proyectos de #ai-safety mejor posicionados en GitHub, los lenguajes de programación más comunes son Python, TypeScript, Jupyter Notebook, Rust.
¿Cómo se calcula la clasificación de los repositorios de #ai-safety?
Seguimos 53 repositorios activos de código abierto etiquetados con #ai-safety (500+ estrellas), que suman un total de 169,967 estrellas, con una media de 3,206 estrellas por repositorio. Las clasificaciones se actualizan diariamente a partir de la API de GitHub.