IT
AccediInizia ora
Glossario

Token smuggling

Che cos’è Token smuggling?

Il token smuggling è una forma di jailbreaking in cui istruzioni indesiderate vengono camuffate, ad esempio spezzettate, ricodificate o scritte con caratteri simili, in modo che i semplici filtri per parole chiave non le riconoscano mentre il modello linguistico ne coglie comunque il senso. La protezione comprende la normalizzazione degli input prima della valutazione, controlli basati sul contenuto e non solo sulle parole, la verifica degli output e permessi minimi per gli agenti IA.

Come aiuta KI.ordo

Il modello KI.ordo «Firewall IA: verificare l'input» fa valutare nel merito gli input sospetti prima che arrivino a un agente e, se necessario, li blocca.

Scopri di più →: Token smuggling

Modelli adatti

Temi

  • Sicurezza
  • Jailbreaking
  • LLM

Prova KI.ordo

Agenti, flussi e modelli in un’unica area di lavoro – demo gratuita di 24 ore.

Avvia demo
← Tutti i termini

Termini correlati

Jailbreaking

Il jailbreaking indica i tentativi di aggirare le regole di sicurezza di un modello di IA con input formulati ad arte, per fargli produrre contenuti o compiere azioni che dovrebbe rifiutare. Per le aziende è un rischio, perché un chatbot potrebbe, ad esempio, rivelare istruzioni riservate o rispondere in modo inappropriato. Le misure di protezione comprendono istruzioni di sistema chiare, controlli su input e output, permessi limitati, registrazione delle attività e test di sicurezza regolari (red teaming).

  • Sicurezza
  • Prevenzione abusi
  • +1
Modello

Firewall IA

Un firewall IA è un livello di protezione tra utenti, fonti di dati e un modello di IA. Controlla gli input alla ricerca di tentativi di manipolazione come prompt injection o jailbreak e verifica gli output, ad esempio per dati riservati o contenuti indesiderati, prima di inoltrarli. Può basarsi su regole, modelli di classificazione o un secondo modello linguistico. Un firewall IA riduce i rischi, ma non offre una protezione completa e non sostituisce permessi limitati e test.

  • Sicurezza
  • Prompt injection
  • +1
Modello

Sicurezza degli LLM

La sicurezza degli LLM comprende tutte le misure che proteggono le applicazioni basate su modelli linguistici di grandi dimensioni da abusi, fughe di dati e comportamenti indesiderati. Rischi tipici sono la prompt injection, la divulgazione di istruzioni o dati riservati e agenti con permessi eccessivi. La protezione nasce da più livelli: istruzioni chiare, diritti limitati, controllo di input e output, firewall per l’IA, red teaming e audit regolari.

  • sicurezza
  • modelli linguistici
  • +1
Modello

Prompt injection indiretta

Nella prompt injection indiretta le istruzioni manipolatorie non si trovano nell'input dell'utente, ma in contenuti che un sistema di IA elabora durante il lavoro, come pagine web, e-mail o documenti. Leggendoli, un agente può scambiare comandi nascosti per incarichi reali e, ad esempio, rivelare dati. Tra le misure di protezione: trattare i contenuti esterni rigorosamente come dati, limitare i permessi, controllare gli input e far approvare a una persona le azioni critiche.

  • Sicurezza
  • Prompt injection
  • +1
Modello