#ai-safety Repository
Scopri 53 repository GitHub open source attivi contrassegnati con #ai-safety, che raccolgono un totale di 169,967 stelle (con una media di 3,206 stelle per progetto). Il progetto leader di questo argomento è ifixai-ai/iFixAi, con 46,592 stelle.
53 repository in totale
Audit indipendente degli agenti IA. Eseguito da umani o dall'agente stesso, per rispondere alla domanda più cruciale nell'economia degli agenti IA: l'agente sta facendo ciò che dovrebbe fare? Con iFixAi puoi avere questa risposta in meno di 120 secondi.
Una piattaforma full-stack di AI Red Teaming che protegge gli ecosistemi di IA tramite Agent Scan, Skills Scan, MCP Scan, AI Infra Scan e la valutazione dei jailbreak degli LLM.
Demo di un caso d'uso del servizio clienti implementato con l'SDK OpenAI Agents
Toolkit di Governance per Agenti AI — Applicazione delle politiche, identità zero-trust, sandboxing di esecuzione e ingegneria dell'affidabilità per agenti AI autonomi. Copre 10/10 OWASP Agentic Top 10.
🧠 Raccolta curata di prompt di sistema per i migliori strumenti AI. Perfetto per sviluppatori di agenti AI e ingegneri di prompt. Inclusi: ChatGPT, Claude, Perplexity, Manus, Claude-Code, Loveable, v0, Grok, same new, windsurf, notion e MetaAI.
Toolkit open source di Microsoft per il red teaming dell’IA. Metti alla prova i sistemi di IA generativa con scansioni automatizzate, attacchi adattivi su più turni e un’interfaccia web.
Una lista curata di risorse fantastiche per il machine learning responsabile.
Inspect: Un framework per la valutazione di modelli linguistici di grandi dimensioni
Verifica formale per l’IA: un verificatore di dimostrazioni basato su Lean 4 + Dafny che rileva le dimostrazioni false generate dall’IA (reward hacking) e un auto-miglioramento ricorsivo (RSI) verificato per gli agenti di programmazione. IA per la matematica, la fisica e l’ingegneria del software.
[NeurIPS 2026] Problemi di sicurezza negli agenti di programmazione e nei LLM all’avanguardia. Ambienti di lavoro riproducibili per studiare quando gli agenti di IA generano dati non sicuri durante lo svolgimento di attività.
Una protezione preventiva per gli agenti di programmazione basati sull’IA. Blocca i comandi Git e del file system distruttivi, oltre ai tentativi più comuni di accedere a file sensibili, prima che venga eseguita una chiamata a uno strumento. Supporta Amp Code, Antigravity CLI, Claude Code, Codex, Cursor, DeepSeek Harness, Devin CLI, GitHub Copilot CLI, Grok Build, Hermes Agent, Kimi Code, OpenClaw, OpenCode e Pi.
AI Safety HOT: notizie, articoli e incidenti quotidiani sulla sicurezza dell’IA, tutto in un unico posto — jailbreak, prompt injection, allineamento, valutazioni e governance. Sito web, riepilogo giornaliero, RSS e MCP.
RLHF Sicuro: Allineamento dei Valori con Vincoli tramite Apprendimento per Rinforzo Sicuro dal Feedback Umano
Barriere di sicurezza incentrate sulla protezione per le operazioni cloud e Kubernetes basate sull'intelligenza artificiale
[JMLR 2026] UQLM: un pacchetto Python per rilevare le allucinazioni dei modelli linguistici di grandi dimensioni mediante la quantificazione dell’incertezza
Un benchmark per le decisioni cliniche basato sull’evidenza: estrarre l’unico fatto su cui si fonda una risposta e verificare se l’azione dell’assistente cambia in base all’evidenza. Costruito su HealthBench.
Una mappa curata della ricerca sull’auto-miglioramento ricorsivo (RSI): modelli, agenti, harness, sistemi incorporati, R&S automatizzata nell’IA, benchmark e sicurezza.
📖 Un elenco curato di risorse dedicate all'allucinazione di modelli linguistici di grandi dimensioni multimodali (MLLM).
Agentlens è una piattaforma di trading di agenti affidabile. Qui puoi trovare rapidamente l'agente che soddisfa le tue esigenze e puoi anche pubblicare il tuo agente per trasformarlo nel tuo asset digitale. Incoraggiamo tutti a trasformare le proprie aree di competenza in agenti e a convertirle in asset digitali, consentendo agli altri di vedere i tuoi punti di forza unici.
Un framework web Rust basato su Axum, con kernel applicativi verificabili con Lean 4 ed eseguibili su server, dispositivi embedded bare metal e GPU, oltre a test di sicurezza integrati.
Questo è un repository che mira a fornire aggiornamenti sullo stato del jailbreak del modello linguistico GPT di OpenAI.
Ingegneria della Rappresentazione: Un Approccio Top-Down alla Trasparenza dell'IA
FactCircuit: un ciclo verificabile di controllo di affermazioni ed evidenze, con provenienza immutabile, verifiche a fasi, recupero vincolato e valutazione riproducibile.
Gli articoli sono organizzati secondo la nostra indagine: Evaluating Large Language Models: A Comprehensive Survey.
Tracciamento a prova di manomissione, controlli delle policy e verifiche incrociate per gli agenti IA: scopri cosa ha fatto l’agente e perché.
Sfruttare prompt e tecniche di gioco di ruolo per aggirare le restrizioni del modello di IA.
Framework di red teaming e valutazione per agenti IA, basato su una tassonomia ASI01–ASI10 ispirata a OWASP
Un hub/area di ricerca dedicato al jailbreak degli LLM e all’elusione dei loro filtri di sicurezza.
Un repository di risorse per l'unlearning automatico nei modelli linguistici di grandi dimensioni
Misurare quanto bene gli agenti CLI come Claude Code o Codex CLI possono fare il post-addestramento di LLM di base su una singola GPU H100 in 10 ore
Control plane self-hosted in fase di esecuzione per agenti IA. Monitora, approva con supervisione umana (HITL) o blocca le chiamate agli strumenti non autorizzate prima che vengano eseguite, prevenendo fughe di segreti, prompt injection, attacchi alla catena di fornitura e altro, da una dashboard locale. Compatibile con qualsiasi agente (Claude, Codex, LangChain, ecc.).
Esegui agenti IA in una sandbox che limita ciò che possono eseguire, leggere e scrivere, nonché le risorse a cui possono accedere in rete. Box combina l’isolamento del sistema operativo con le policy Dogwood che negano l’accesso per impostazione predefinita e l’iniezione di credenziali, mantenendo i segreti al di fuori dell’agente. Scritto in Rust. Supporta macOS su Apple silicon e Linux.
Jailbreak per l’IA: 35 prompt di jailbreak pronti da copiare e incollare per oltre 25 modelli all’avanguardia e open-weight: prompt di sistema, specifiche AGENTS.md e file Modelfile di Ollama. Pensati per la ricerca sulla sicurezza dell’IA e i test red team.
Una guida completa per aiutarti a integrare l’IA nel tuo flusso di lavoro, sia che tu sia un principiante sia che abbia già esperienza
PromptInject è un framework che assembla i prompt in modo modulare per fornire un'analisi quantitativa della robustezza dei modelli linguistici (LLM) contro gli attacchi di prompt avversari. 🏆 Premio Best Paper al NeurIPS ML Safety Workshop 2022
Applicazione delle policy in fase di esecuzione per gli agenti di IA. Traccia di audit crittografica, approvazioni con intervento umano e interruttore di emergenza. Nessuna modifica al codice.
Domande frequenti
Qual è il repository #ai-safety più popolare su GitHub?
Il progetto open source #ai-safety più alto in classifica su GitHub è ifixai-ai/iFixAi, con 46,592 stelle. Audit indipendente degli agenti IA. Eseguito da umani o dall'agente stesso, per rispondere alla domanda più cruciale nell'economia degli agenti IA: l'agente sta facendo ciò che dovrebbe fare? Con iFixAi puoi avere questa risposta in meno di 120 secondi.
Quali linguaggi di programmazione sono più utilizzati nei repository #ai-safety?
Tra i progetti #ai-safety più alti in classifica su GitHub, i linguaggi di programmazione più comuni sono Python, TypeScript, Jupyter Notebook, Rust.
Come viene calcolata la classifica dei repository #ai-safety?
Monitoriamo 53 repository open source attivi contrassegnati con #ai-safety (500+ stelle), per un totale di 169,967 stelle e una media di 3,206 stelle per repository. Le classifiche vengono aggiornate quotidianamente tramite l’API di GitHub.