Git Stars Git Stars

#ai-safety Repository

Scopri 53 repository GitHub open source attivi contrassegnati con #ai-safety, che raccolgono un totale di 169,967 stelle (con una media di 3,206 stelle per progetto). Il progetto leader di questo argomento è ifixai-ai/iFixAi, con 46,592 stelle.

53
Totale Repository
169,967
Totale stelle
3,206
Media Stelle/Repo

53 repository in totale

1
ifixai-ai/iFixAi

Audit indipendente degli agenti IA. Eseguito da umani o dall'agente stesso, per rispondere alla domanda più cruciale nell'economia degli agenti IA: l'agente sta facendo ciò che dovrebbe fare? Con iFixAi puoi avere questa risposta in meno di 120 secondi.

ifixai-ai
⭐ 46,592 Python 👤 ifixai-ai Organization 🕐 Aggiornato 2026-11-20 📅 Creato 2026-04-27
2
meta-llama/llama3

Il sito ufficiale GitHub di Meta Llama 3

meta-llama
⭐ 29,268 Python 👤 meta-llama Organization 🕐 Aggiornato 2025-01-26 📅 Creato 2024-03-15
3
Tencent/AI-Infra-Guard

Una piattaforma full-stack di AI Red Teaming che protegge gli ecosistemi di IA tramite Agent Scan, Skills Scan, MCP Scan, AI Infra Scan e la valutazione dei jailbreak degli LLM.

Tencent
⭐ 7,604 Python 👤 Tencent Organization 🕐 Aggiornato 2026-11-20 📅 Creato 2024-12-25
4
openai/openai-cs-agents-demo

Demo di un caso d'uso del servizio clienti implementato con l'SDK OpenAI Agents

openai
⭐ 6,618 Python 👤 openai Organization 🕐 Aggiornato 2025-12-18 📅 Creato 2025-06-14
5
microsoft/agent-governance-toolkit

Toolkit di Governance per Agenti AI — Applicazione delle politiche, identità zero-trust, sandboxing di esecuzione e ingegneria dell'affidabilità per agenti AI autonomi. Copre 10/10 OWASP Agentic Top 10.

microsoft
⭐ 6,586 Python 👤 microsoft Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2026-03-02
6
dontriskit/awesome-ai-system-prompts

🧠 Raccolta curata di prompt di sistema per i migliori strumenti AI. Perfetto per sviluppatori di agenti AI e ingegneri di prompt. Inclusi: ChatGPT, Claude, Perplexity, Manus, Claude-Code, Loveable, v0, Grok, same new, windsurf, notion e MetaAI.

dontriskit
⭐ 6,302 TypeScript 👤 dontriskit User 🕐 Aggiornato 2026-09-29 📅 Creato 2025-03-05
7
microsoft/PyRIT

Toolkit open source di Microsoft per il red teaming dell’IA. Metti alla prova i sistemi di IA generativa con scansioni automatizzate, attacchi adattivi su più turni e un’interfaccia web.

microsoft
⭐ 5,003 Python 👤 microsoft Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2023-12-12
8
ogx-ai/llama-stack-apps

Componenti agentivi delle API dello stack Llama

ogx-ai
⭐ 4,302 👤 ogx-ai Organization 🕐 Aggiornato 2025-08-05 📅 Creato 2024-06-25
10
jphall663/awesome-machine-learning-interpretability

Una lista curata di risorse fantastiche per il machine learning responsabile.

jphall663
⭐ 4,088 👤 jphall663 User 🕐 Aggiornato 2026-06-03 📅 Creato 2018-06-21
11
UKGovernmentBEIS/inspect_ai

Inspect: Un framework per la valutazione di modelli linguistici di grandi dimensioni

UKGovernmentBEIS
⭐ 3,302 Python 👤 UKGovernmentBEIS Organization 🕐 Aggiornato 2026-11-20 📅 Creato 2023-11-14
13
sahibzada-allahyar/Formal-Verification-RSI

Verifica formale per l’IA: un verificatore di dimostrazioni basato su Lean 4 + Dafny che rileva le dimostrazioni false generate dall’IA (reward hacking) e un auto-miglioramento ricorsivo (RSI) verificato per gli agenti di programmazione. IA per la matematica, la fisica e l’ingegneria del software.

sahibzada-allahyar
⭐ 2,910 Python 👤 sahibzada-allahyar User 🕐 Aggiornato 2026-10-22 📅 Creato 2025-02-22
14
wuyoscar/Internal-Safety-Collapse

[NeurIPS 2026] Problemi di sicurezza negli agenti di programmazione e nei LLM all’avanguardia. Ambienti di lavoro riproducibili per studiare quando gli agenti di IA generano dati non sicuri durante lo svolgimento di attività.

wuyoscar
⭐ 2,623 Python 👤 wuyoscar User 🕐 Aggiornato 2026-11-16 📅 Creato 2026-03-01
15
kenryu42/cc-safety-net

Una protezione preventiva per gli agenti di programmazione basati sull’IA. Blocca i comandi Git e del file system distruttivi, oltre ai tentativi più comuni di accedere a file sensibili, prima che venga eseguita una chiamata a uno strumento. Supporta Amp Code, Antigravity CLI, Claude Code, Codex, Cursor, DeepSeek Harness, Devin CLI, GitHub Copilot CLI, Grok Build, Hermes Agent, Kimi Code, OpenClaw, OpenCode e Pi.

kenryu42
⭐ 2,086 TypeScript 👤 kenryu42 User 🕐 Aggiornato 2026-11-20 📅 Creato 2025-12-25
16
wuyoscar/AISafetyHot

AI Safety HOT: notizie, articoli e incidenti quotidiani sulla sicurezza dell’IA, tutto in un unico posto — jailbreak, prompt injection, allineamento, valutazioni e governance. Sito web, riepilogo giornaliero, RSS e MCP.

wuyoscar
⭐ 2,079 TeX 👤 wuyoscar User 🕐 Aggiornato 2026-11-21 📅 Creato 2026-10-01
17
centerforaisafety/hle

L'ultimo esame dell'umanità

centerforaisafety
⭐ 1,749 Python 👤 centerforaisafety Organization 🕐 Aggiornato 2026-09-23 📅 Creato 2025-01-23
19
PKU-Alignment/safe-rlhf

RLHF Sicuro: Allineamento dei Valori con Vincoli tramite Apprendimento per Rinforzo Sicuro dal Feedback Umano

PKU-Alignment
⭐ 1,624 Python 👤 PKU-Alignment Organization 🕐 Aggiornato 2025-11-24 📅 Creato 2023-05-15
20
decoderesearch/SAELens

Allenamento di autoencoder sparsi su modelli linguistici

decoderesearch
⭐ 1,588 Python 👤 decoderesearch Organization 🕐 Aggiornato 2026-11-20 📅 Creato 2023-11-29
21
valqore/valqore

Barriere di sicurezza incentrate sulla protezione per le operazioni cloud e Kubernetes basate sull'intelligenza artificiale

valqore
⭐ 1,568 Python 👤 valqore Organization 🕐 Aggiornato 2026-09-05 📅 Creato 2026-03-04
23
OpenLMLab/MOSS-RLHF

Segreti di RLHF nei modelli linguistici di grandi dimensioni Parte I: PPO

OpenLMLab
⭐ 1,408 Python 👤 OpenLMLab Organization 🕐 Aggiornato 2024-03-03 📅 Creato 2023-07-05
⭐ 1,376 Python 👤 harishsg993010 User 🕐 Aggiornato 2026-11-01 📅 Creato 2025-04-16
25
cvs-health/uqlm

[JMLR 2026] UQLM: un pacchetto Python per rilevare le allucinazioni dei modelli linguistici di grandi dimensioni mediante la quantificazione dell’incertezza

cvs-health
⭐ 1,215 Python 👤 cvs-health Organization 🕐 Aggiornato 2026-11-08 📅 Creato 2025-04-17
26
xinxuxin/keystone-bench

Un benchmark per le decisioni cliniche basato sull’evidenza: estrarre l’unico fatto su cui si fonda una risposta e verificare se l’azione dell’assistente cambia in base all’evidenza. Costruito su HealthBench.

xinxuxin
⭐ 1,130 Python 👤 xinxuxin User 🕐 Aggiornato 2026-10-19 📅 Creato 2026-09-07
27
lobehub/awesome-rsi

Una mappa curata della ricerca sull’auto-miglioramento ricorsivo (RSI): modelli, agenti, harness, sistemi incorporati, R&S automatizzata nell’IA, benchmark e sicurezza.

lobehub
⭐ 1,073 👤 lobehub Organization 🕐 Aggiornato 2026-11-20 📅 Creato 2026-08-11
28
showlab/Awesome-MLLM-Hallucination

📖 Un elenco curato di risorse dedicate all'allucinazione di modelli linguistici di grandi dimensioni multimodali (MLLM).

showlab
⭐ 1,044 👤 showlab Organization 🕐 Aggiornato 2025-09-27 📅 Creato 2023-12-10
29
ZhangJinHaHaHa/AgentLens

Agentlens è una piattaforma di trading di agenti affidabile. Qui puoi trovare rapidamente l'agente che soddisfa le tue esigenze e puoi anche pubblicare il tuo agente per trasformarlo nel tuo asset digitale. Incoraggiamo tutti a trasformare le proprie aree di competenza in agenti e a convertirle in asset digitali, consentendo agli altri di vedere i tuoi punti di forza unici.

ZhangJinHaHaHa
⭐ 1,013 TypeScript 👤 ZhangJinHaHaHa User 🕐 Aggiornato 2026-08-24 📅 Creato 2026-04-15
30
h5i-dev/h5i

Un framework web Rust basato su Axum, con kernel applicativi verificabili con Lean 4 ed eseguibili su server, dispositivi embedded bare metal e GPU, oltre a test di sicurezza integrati.

h5i-dev
⭐ 936 Rust 👤 h5i-dev Organization 🕐 Aggiornato 2026-11-20 📅 Creato 2026-03-11
31
tg12/gpt_jailbreak_status

Questo è un repository che mira a fornire aggiornamenti sullo stato del jailbreak del modello linguistico GPT di OpenAI.

tg12
⭐ 934 HTML 👤 tg12 User 🕐 Aggiornato 2026-05-16 📅 Creato 2023-03-01
32
andyzoujm/representation-engineering

Ingegneria della Rappresentazione: Un Approccio Top-Down alla Trasparenza dell'IA

andyzoujm
⭐ 931 Jupyter Notebook 👤 andyzoujm User 🕐 Aggiornato 2024-08-14 📅 Creato 2023-09-26
33
superwesleyhys-ux/factcircuit

FactCircuit: un ciclo verificabile di controllo di affermazioni ed evidenze, con provenienza immutabile, verifiche a fasi, recupero vincolato e valutazione riproducibile.

superwesleyhys-ux
⭐ 926 Python 👤 superwesleyhys-ux User 🕐 Aggiornato 2026-11-13 📅 Creato 2026-09-06
34
tjunlp-lab/Awesome-LLMs-Evaluation-Papers

Gli articoli sono organizzati secondo la nostra indagine: Evaluating Large Language Models: A Comprehensive Survey.

tjunlp-lab
⭐ 791 👤 tjunlp-lab User 🕐 Aggiornato 2024-05-08 📅 Creato 2023-10-29
35
Cygnux-Labs/Tracekit

Tracciamento a prova di manomissione, controlli delle policy e verifiche incrociate per gli agenti IA: scopri cosa ha fatto l’agente e perché.

Cygnux-Labs
⭐ 759 Python 👤 Cygnux-Labs Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2026-09-26
37
l0gicx/ai-model-bypass

Sfruttare prompt e tecniche di gioco di ruolo per aggirare le restrizioni del modello di IA.

l0gicx
⭐ 722 👤 l0gicx User 🕐 Aggiornato 2025-10-04 📅 Creato 2025-05-21
39
AgentSafeLabs/safelabs-eval

Framework di red teaming e valutazione per agenti IA, basato su una tassonomia ASI01–ASI10 ispirata a OWASP

AgentSafeLabs
⭐ 713 Python 👤 AgentSafeLabs Organization 🕐 Aggiornato 2026-11-06 📅 Creato 2026-05-25
40
lalipa2003-arch/JailbreakHub

Un hub/area di ricerca dedicato al jailbreak degli LLM e all’elusione dei loro filtri di sicurezza.

lalipa2003-arch
⭐ 687 Roff 👤 lalipa2003-arch User 🕐 Aggiornato 2026-11-20 📅 Creato 2026-09-27
41
chrisliu298/awesome-llm-unlearning

Un repository di risorse per l'unlearning automatico nei modelli linguistici di grandi dimensioni

chrisliu298
⭐ 640 👤 chrisliu298 User 🕐 Aggiornato 2026-10-06 📅 Creato 2024-03-27
42
aisa-group/PostTrainBench

Misurare quanto bene gli agenti CLI come Claude Code o Codex CLI possono fare il post-addestramento di LLM di base su una singola GPU H100 in 10 ore

aisa-group
⭐ 627 Python 👤 aisa-group Organization 🕐 Aggiornato 2026-11-20 📅 Creato 2025-11-28
43
PrismorSec/prismor

Control plane self-hosted in fase di esecuzione per agenti IA. Monitora, approva con supervisione umana (HITL) o blocca le chiamate agli strumenti non autorizzate prima che vengano eseguite, prevenendo fughe di segreti, prompt injection, attacchi alla catena di fornitura e altro, da una dashboard locale. Compatibile con qualsiasi agente (Claude, Codex, LangChain, ecc.).

PrismorSec
⭐ 585 Python 👤 PrismorSec Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2026-02-20
44
strands-agents/box

Esegui agenti IA in una sandbox che limita ciò che possono eseguire, leggere e scrivere, nonché le risorse a cui possono accedere in rete. Box combina l’isolamento del sistema operativo con le policy Dogwood che negano l’accesso per impostazione predefinita e l’iniezione di credenziali, mantenendo i segreti al di fuori dell’agente. Scritto in Rust. Supporta macOS su Apple silicon e Linux.

strands-agents
⭐ 561 Rust 👤 strands-agents Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2026-10-02
45
PacificAI/langtest

Fornire modelli linguistici sicuri ed efficaci

PacificAI
⭐ 560 Python 👤 PacificAI Organization 🕐 Aggiornato 2026-11-20 📅 Creato 2022-11-18
46
Alejandros17487/ai-jailbreaks

Jailbreak per l’IA: 35 prompt di jailbreak pronti da copiare e incollare per oltre 25 modelli all’avanguardia e open-weight: prompt di sistema, specifiche AGENTS.md e file Modelfile di Ollama. Pensati per la ricerca sulla sicurezza dell’IA e i test red team.

Alejandros17487
⭐ 559 👤 Alejandros17487 User 🕐 Aggiornato 2026-10-21 📅 Creato 2026-10-21
47
xop01/ai_goodpractice

Una guida completa per aiutarti a integrare l’IA nel tuo flusso di lavoro, sia che tu sia un principiante sia che abbia già esperienza

xop01
⭐ 556 👤 xop01 User 🕐 Aggiornato 2026-10-02 📅 Creato 2026-10-02
48
opendilab/LLMRiddles

Riproduzione/Demo Open-Source del Gioco di Indovinelli LLM

opendilab
⭐ 549 Python 👤 opendilab Organization 🕐 Aggiornato 2024-07-30 📅 Creato 2023-11-07
49
agencyenterprise/PromptInject

PromptInject è un framework che assembla i prompt in modo modulare per fornire un'analisi quantitativa della robustezza dei modelli linguistici (LLM) contro gli attacchi di prompt avversari. 🏆 Premio Best Paper al NeurIPS ML Safety Workshop 2022

agencyenterprise
⭐ 529 Python 👤 agencyenterprise Organization 🕐 Aggiornato 2026-04-27 📅 Creato 2022-10-25
50
Justin0504/Aegis

Applicazione delle policy in fase di esecuzione per gli agenti di IA. Traccia di audit crittografica, approvazioni con intervento umano e interruttore di emergenza. Nessuna modifica al codice.

Justin0504
⭐ 524 TypeScript 👤 Justin0504 User 🕐 Aggiornato 2026-10-31 📅 Creato 2026-03-04

Domande frequenti

1

Qual è il repository #ai-safety più popolare su GitHub?

Il progetto open source #ai-safety più alto in classifica su GitHub è ifixai-ai/iFixAi, con 46,592 stelle. Audit indipendente degli agenti IA. Eseguito da umani o dall'agente stesso, per rispondere alla domanda più cruciale nell'economia degli agenti IA: l'agente sta facendo ciò che dovrebbe fare? Con iFixAi puoi avere questa risposta in meno di 120 secondi.

2

Quali linguaggi di programmazione sono più utilizzati nei repository #ai-safety?

Tra i progetti #ai-safety più alti in classifica su GitHub, i linguaggi di programmazione più comuni sono Python, TypeScript, Jupyter Notebook, Rust.

3

Come viene calcolata la classifica dei repository #ai-safety?

Monitoriamo 53 repository open source attivi contrassegnati con #ai-safety (500+ stelle), per un totale di 169,967 stelle e una media di 3,206 stelle per repository. Le classifiche vengono aggiornate quotidianamente tramite l’API di GitHub.