IT
AccediInizia ora
Glossario

Manipolazione della finestra di contesto

Che cos’è Manipolazione della finestra di contesto?

La manipolazione della finestra di contesto indica attacchi che influenzano deliberatamente il testo elaborato contemporaneamente da un modello linguistico, ad esempio con istruzioni nascoste nei documenti, finte parti precedenti della conversazione o grandi quantità di contenuto di riempimento che mettono in secondo piano le regole originali. Ci si protegge separando chiaramente le istruzioni affidabili dai contenuti esterni, limitando la lunghezza, verificando gli input e concedendo agli agenti meno permessi possibile.

Come aiuta KI.ordo

Il modello KI.ordo «Firewall IA: verificare l'input» può essere inserito come sotto-flusso prima di un agente per scartare in anticipo gli input sospetti.

Scopri di più →: Manipolazione della finestra di contesto

Modelli adatti

Temi

  • Sicurezza
  • Prompt injection
  • LLM

Prova KI.ordo

Agenti, flussi e modelli in un’unica area di lavoro – demo gratuita di 24 ore.

Avvia demo
← Tutti i termini

Termini correlati

Prompt injection indiretta

Nella prompt injection indiretta le istruzioni manipolatorie non si trovano nell'input dell'utente, ma in contenuti che un sistema di IA elabora durante il lavoro, come pagine web, e-mail o documenti. Leggendoli, un agente può scambiare comandi nascosti per incarichi reali e, ad esempio, rivelare dati. Tra le misure di protezione: trattare i contenuti esterni rigorosamente come dati, limitare i permessi, controllare gli input e far approvare a una persona le azioni critiche.

  • Sicurezza
  • Prompt injection
  • +1
Modello

Firewall IA

Un firewall IA è un livello di protezione tra utenti, fonti di dati e un modello di IA. Controlla gli input alla ricerca di tentativi di manipolazione come prompt injection o jailbreak e verifica gli output, ad esempio per dati riservati o contenuti indesiderati, prima di inoltrarli. Può basarsi su regole, modelli di classificazione o un secondo modello linguistico. Un firewall IA riduce i rischi, ma non offre una protezione completa e non sostituisce permessi limitati e test.

  • Sicurezza
  • Prompt injection
  • +1
Modello

Token smuggling

Il token smuggling è una forma di jailbreaking in cui istruzioni indesiderate vengono camuffate, ad esempio spezzettate, ricodificate o scritte con caratteri simili, in modo che i semplici filtri per parole chiave non le riconoscano mentre il modello linguistico ne coglie comunque il senso. La protezione comprende la normalizzazione degli input prima della valutazione, controlli basati sul contenuto e non solo sulle parole, la verifica degli output e permessi minimi per gli agenti IA.

  • Sicurezza
  • Jailbreaking
  • +1
Modello

Jailbreaking

Il jailbreaking indica i tentativi di aggirare le regole di sicurezza di un modello di IA con input formulati ad arte, per fargli produrre contenuti o compiere azioni che dovrebbe rifiutare. Per le aziende è un rischio, perché un chatbot potrebbe, ad esempio, rivelare istruzioni riservate o rispondere in modo inappropriato. Le misure di protezione comprendono istruzioni di sistema chiare, controlli su input e output, permessi limitati, registrazione delle attività e test di sicurezza regolari (red teaming).

  • Sicurezza
  • Prevenzione abusi
  • +1
Modello