Glossario

Adversarial machine learning

Che cos’è Adversarial machine learning?

L'adversarial machine learning studia come i modelli di IA possano essere ingannati da input o dati di addestramento manipolati di proposito, e come proteggerli. Esempi noti sono modifiche quasi invisibili a un'immagine che ne ribaltano la classificazione, oppure dati di addestramento avvelenati. Il tema diventa rilevante per le aziende quando l'IA supporta decisioni critiche per la sicurezza. Tra le contromisure figurano addestramento robusto, controllo degli input, monitoraggio e test di sicurezza regolari.

Temi

Sicurezza IA
Robustezza
Protezione

Prova KI.ordo

Agenti, flussi e modelli in un’unica area di lavoro – demo gratuita di 24 ore.

Avvia demo

← Tutti i termini

Termini correlati

Robustezza del modello

La robustezza del modello descrive quanto un modello di IA funziona in modo affidabile quando gli input sono rumorosi, incompleti, insoliti o manipolati intenzionalmente. Un modello robusto fornisce comunque risultati stabili, ad esempio un riconoscimento di immagini con scarsa illuminazione o un modello linguistico di fronte a errori di battitura. Si verifica con stress test, dati di addestramento variati e prove contro tentativi di inganno, ed è cruciale nelle applicazioni critiche per la sicurezza.

affidabilità
qualità del modello
+1

AI red teaming

L'AI red teaming è l'esame strutturato di un sistema di IA dal punto di vista di possibili aggressori o di un uso improprio. Gli esperti verificano in modo controllato se un chatbot rivela istruzioni riservate, adotta comportamenti indesiderati, fornisce fatti errati o espone dati; i risultati migliorano istruzioni, filtri e autorizzazioni. Un audit di sicurezza del chatbot ne è una forma più leggera, basata su aree di rischio note come la OWASP Top 10 per le applicazioni LLM.

Sicurezza IA
Test di sicurezza
+1

Modello

Sicurezza degli LLM

La sicurezza degli LLM comprende tutte le misure che proteggono le applicazioni basate su modelli linguistici di grandi dimensioni da abusi, fughe di dati e comportamenti indesiderati. Rischi tipici sono la prompt injection, la divulgazione di istruzioni o dati riservati e agenti con permessi eccessivi. La protezione nasce da più livelli: istruzioni chiare, diritti limitati, controllo di input e output, firewall per l’IA, red teaming e audit regolari.

sicurezza
modelli linguistici
+1

Modello

Dati di addestramento

I dati di addestramento sono gli esempi da cui un modello di IA apprende schemi: grandi raccolte di testi per i modelli linguistici, immagini etichettate per quelli visivi. La loro qualità, varietà e attualità determinano in larga misura quanto un modello sarà affidabile ed equo e quanto aggiornate saranno le sue conoscenze. Per le aziende conta inoltre se un fornitore usa i dati dei clienti per ulteriori addestramenti.

Dati
Addestramento
+1