IT
AccediInizia ora
Glossario

Jailbreaking

Che cos’è Jailbreaking?

Il jailbreaking indica i tentativi di aggirare le regole di sicurezza di un modello di IA con input formulati ad arte, per fargli produrre contenuti o compiere azioni che dovrebbe rifiutare. Per le aziende è un rischio, perché un chatbot potrebbe, ad esempio, rivelare istruzioni riservate o rispondere in modo inappropriato. Le misure di protezione comprendono istruzioni di sistema chiare, controlli su input e output, permessi limitati, registrazione delle attività e test di sicurezza regolari (red teaming).

Come aiuta KI.ordo

I modelli di KI.ordo per un firewall IA e per un audit di sicurezza dei chatbot aiutano a riconoscere input sospetti e a verificare le istruzioni dei propri agenti.

Scopri di più →: Jailbreaking

Modelli adatti

Temi

  • Sicurezza
  • Prevenzione abusi
  • LLM

Prova KI.ordo

Agenti, flussi e modelli in un’unica area di lavoro – demo gratuita di 24 ore.

Avvia demo
← Tutti i termini

Termini correlati

Prompt injection indiretta

Nella prompt injection indiretta le istruzioni manipolatorie non si trovano nell'input dell'utente, ma in contenuti che un sistema di IA elabora durante il lavoro, come pagine web, e-mail o documenti. Leggendoli, un agente può scambiare comandi nascosti per incarichi reali e, ad esempio, rivelare dati. Tra le misure di protezione: trattare i contenuti esterni rigorosamente come dati, limitare i permessi, controllare gli input e far approvare a una persona le azioni critiche.

  • Sicurezza
  • Prompt injection
  • +1
Modello

Firewall IA

Un firewall IA è un livello di protezione tra utenti, fonti di dati e un modello di IA. Controlla gli input alla ricerca di tentativi di manipolazione come prompt injection o jailbreak e verifica gli output, ad esempio per dati riservati o contenuti indesiderati, prima di inoltrarli. Può basarsi su regole, modelli di classificazione o un secondo modello linguistico. Un firewall IA riduce i rischi, ma non offre una protezione completa e non sostituisce permessi limitati e test.

  • Sicurezza
  • Prompt injection
  • +1
Modello

AI red teaming

L'AI red teaming è l'esame strutturato di un sistema di IA dal punto di vista di possibili aggressori o di un uso improprio. Gli esperti verificano in modo controllato se un chatbot rivela istruzioni riservate, adotta comportamenti indesiderati, fornisce fatti errati o espone dati; i risultati migliorano istruzioni, filtri e autorizzazioni. Un audit di sicurezza del chatbot ne è una forma più leggera, basata su aree di rischio note come la OWASP Top 10 per le applicazioni LLM.

  • Sicurezza IA
  • Test di sicurezza
  • +1
Modello

Estrazione del prompt di sistema

L'estrazione del prompt di sistema indica i tentativi di indurre un chatbot o un agente IA a rivelare le proprie istruzioni di sistema nascoste. Se il tentativo riesce si parla di prompt leaking: l'estrazione è l'attacco, la fuga di informazioni la conseguenza. Una protezione efficace parte dal non inserire password, chiavi o regole riservate nelle istruzioni e dal presumere che possano diventare pubbliche; controlli sugli input e test regolari completano la difesa.

  • Sicurezza
  • Prompt leaking
  • +1
Modello