Glossario

Prompt injection indiretta

Che cos’è Prompt injection indiretta?

Nella prompt injection indiretta le istruzioni manipolatorie non si trovano nell'input dell'utente, ma in contenuti che un sistema di IA elabora durante il lavoro, come pagine web, e-mail o documenti. Leggendoli, un agente può scambiare comandi nascosti per incarichi reali e, ad esempio, rivelare dati. Tra le misure di protezione: trattare i contenuti esterni rigorosamente come dati, limitare i permessi, controllare gli input e far approvare a una persona le azioni critiche.

Come aiuta KI.ordo

KI.ordo offre un modello di firewall IA che si può anteporre a un agente come ulteriore livello di controllo, ad esempio quando i contenuti arrivano tramite lo strumento di lettura delle pagine web.

Scopri di più →: Prompt injection indiretta

Temi

  • Sicurezza
  • Prompt injection
  • Agenti

Prova KI.ordo

Agenti, flussi e modelli in un’unica area di lavoro – demo gratuita di 24 ore.

Avvia demo
← Tutti i termini

Termini correlati

Firewall IA

Un firewall IA è un livello di protezione tra utenti, fonti di dati e un modello di IA. Controlla gli input alla ricerca di tentativi di manipolazione come prompt injection o jailbreak e verifica gli output, ad esempio per dati riservati o contenuti indesiderati, prima di inoltrarli. Può basarsi su regole, modelli di classificazione o un secondo modello linguistico. Un firewall IA riduce i rischi, ma non offre una protezione completa e non sostituisce permessi limitati e test.

  • Sicurezza
  • Prompt injection
  • +1
Modello

Jailbreaking

Il jailbreaking indica i tentativi di aggirare le regole di sicurezza di un modello di IA con input formulati ad arte, per fargli produrre contenuti o compiere azioni che dovrebbe rifiutare. Per le aziende è un rischio, perché un chatbot potrebbe, ad esempio, rivelare istruzioni riservate o rispondere in modo inappropriato. Le misure di protezione comprendono istruzioni di sistema chiare, controlli su input e output, permessi limitati, registrazione delle attività e test di sicurezza regolari (red teaming).

  • Sicurezza
  • Prevenzione abusi
  • +1
Modello

Sicurezza degli LLM

La sicurezza degli LLM comprende tutte le misure che proteggono le applicazioni basate su modelli linguistici di grandi dimensioni da abusi, fughe di dati e comportamenti indesiderati. Rischi tipici sono la prompt injection, la divulgazione di istruzioni o dati riservati e agenti con permessi eccessivi. La protezione nasce da più livelli: istruzioni chiare, diritti limitati, controllo di input e output, firewall per l’IA, red teaming e audit regolari.

  • sicurezza
  • modelli linguistici
  • +1
Modello

OWASP LLM Top 10

La OWASP Top 10 per le applicazioni LLM è un elenco dei principali rischi di sicurezza nelle applicazioni basate su modelli linguistici di grandi dimensioni, pubblicato dall’OWASP GenAI Security Project. L’edizione 2026, uscita ad agosto 2026 (aggiornato a ottobre 2026), comprende: prompt injection, divulgazione di informazioni sensibili, autonomia eccessiva, catena di fornitura, avvelenamento di dati e modelli, consumo illimitato, disinformazione, esposizione del contesto nascosto, debolezze di vettori ed embedding e gestione impropria dell’output. Serve da lista di controllo per sviluppo e audit.

  • sicurezza
  • standard
  • +1
Modello