MT
IdħolIbda issa
Glossarju

Manipulazzjoni tat-tieqa tal-kuntest

X'inhu Manipulazzjoni tat-tieqa tal-kuntest?

Il-manipulazzjoni tat-tieqa tal-kuntest tirreferi għal attakki li jinfluwenzaw deliberatament it-test li mudell lingwistiku jipproċessa f'daqqa, pereżempju permezz ta' struzzjonijiet moħbija f'dokumenti, partijiet preċedenti fabbrikati ta' konversazzjoni jew kwantitajiet kbar ta' materjal ta' mili li jitfgħu r-regoli oriġinali fl-isfond. Il-protezzjoni tiġi mis-separazzjoni ċara ta' struzzjonijiet fdati minn kontenut estern, limiti tat-tul, kontrolli tal-input u l-għoti ta' kemm jista' jkun ftit permessi lill-aġenti.

Kif jgħin KI.ordo

Il-mudell ta' KI.ordo “Firewall tal-IA: iċċekkja l-input” jista' jitqiegħed quddiem aġent bħala sub-fluss biex jiffiltra minn qabel inputs suspettużi.

Sir af aktar : Manipulazzjoni tat-tieqa tal-kuntest

Mudelli li jaqblu

Suġġetti

  • Sigurtà
  • Prompt injection
  • LLM

Ipprova KI.ordo

Aġenti, flussi tax-xogħol u mudelli fi spazju tax-xogħol wieħed – demo b'xejn għal 24 siegħa.

Ibda d-demo
← It-termini kollha

Termini relatati

Prompt injection indirett

F'prompt injection indirett, struzzjonijiet manipulattivi ma jkunux fl-input tal-utent iżda moħbija f'kontenut li sistema tal-IA tipproċessa matul it-triq, bħal paġni web, emails jew dokumenti. Meta aġent jaqra kontenut bħal dan, jista' jħawwad kmandi moħbija ma' kompiti ġenwini u, pereżempju, jiżvela data. Is-salvagwardji jinkludu li kontenut estern jiġi ttrattat strettament bħala data, limitazzjoni tal-permessi, skrinjar tal-inputs u talba għal approvazzjoni umana għal azzjonijiet kritiċi.

  • Sigurtà
  • Prompt injection
  • +1
Mudell

Firewall tal-IA

Firewall tal-IA huwa saff protettiv bejn l-utenti, is-sorsi tad-data u mudell tal-IA. Jiskrinja l-inputs għal tentattivi ta' manipulazzjoni bħal prompt injection jew jailbreaks u jiċċekkja l-outputs, pereżempju għal data kunfidenzjali jew kontenut mhux mixtieq, qabel ma jgħaddihom 'il quddiem. Jista' juża regoli, mudelli ta' klassifikazzjoni jew mudell lingwistiku ieħor. Firewall tal-IA inaqqas ir-riskju iżda ma joffrix protezzjoni sħiħa u ma jissostitwixxix permessi limitati u lanqas it-testijiet.

  • Sigurtà
  • Prompt injection
  • +1
Mudell

Token Smuggling

It-token smuggling huwa forma ta' jailbreaking li fiha struzzjonijiet mhux mixtieqa jiġu moħbija, per eżempju maqsuma f'frammenti, kodifikati mill-ġdid jew miktubin b'karattri li jixbhu lil xulxin, sabiex filtri sempliċi tal-kliem ewlieni jinqabżu filwaqt li l-mudell lingwistiku xorta jifhem it-tifsira tagħhom. Il-protezzjoni tinkludi n-normalizzazzjoni tal-inputs qabel jiġu evalwati, verifiki bbażati fuq il-kontenut minflok purament fuq il-kliem, ir-reviżjoni tal-outputs u l-għoti ta' kemm jista' jkun ftit permessi lill-aġenti tal-IA.

  • Sigurtà
  • Jailbreaking
  • +1
Mudell

Jailbreaking

Il-jailbreaking jirreferi għal tentattivi biex jiġu evitati r-regoli tas-sikurezza ta' mudell tal-IA permezz ta' inputs formulati b'mod għaqli, sabiex jipproduċi kontenut jew jagħmel azzjonijiet li suppost jirrifjuta. Għall-organizzazzjonijiet dan huwa riskju, għax chatbot jista', pereżempju, jiżvela struzzjonijiet kunfidenzjali jew jirrispondi b'mod mhux xieraq. Il-miżuri protettivi jinkludu struzzjonijiet ċari tas-sistema, skrinjar tal-input u tal-output, permessi limitati, reġistrazzjoni u ttestjar regolari tas-sigurtà (red teaming).

  • Sigurtà
  • Prevenzjoni tal-abbuż
  • +1
Mudell