MT
IdħolIbda issa
Glossarju

Jailbreaking

X'inhu Jailbreaking?

Il-jailbreaking jirreferi għal tentattivi biex jiġu evitati r-regoli tas-sikurezza ta' mudell tal-IA permezz ta' inputs formulati b'mod għaqli, sabiex jipproduċi kontenut jew jagħmel azzjonijiet li suppost jirrifjuta. Għall-organizzazzjonijiet dan huwa riskju, għax chatbot jista', pereżempju, jiżvela struzzjonijiet kunfidenzjali jew jirrispondi b'mod mhux xieraq. Il-miżuri protettivi jinkludu struzzjonijiet ċari tas-sistema, skrinjar tal-input u tal-output, permessi limitati, reġistrazzjoni u ttestjar regolari tas-sigurtà (red teaming).

Kif jgħin KI.ordo

Il-mudelli lesti ta' KI.ordo għal firewall tal-IA u awditu tas-sigurtà tal-chatbot jgħinu biex jinqabdu inputs suspettużi u biex jiġu ċċekkjati l-istruzzjonijiet tal-aġenti tiegħek stess għal dgħufijiet.

Sir af aktar : Jailbreaking

Mudelli li jaqblu

Suġġetti

  • Sigurtà
  • Prevenzjoni tal-abbuż
  • LLM

Ipprova KI.ordo

Aġenti, flussi tax-xogħol u mudelli fi spazju tax-xogħol wieħed – demo b'xejn għal 24 siegħa.

Ibda d-demo
← It-termini kollha

Termini relatati

Prompt injection indirett

F'prompt injection indirett, struzzjonijiet manipulattivi ma jkunux fl-input tal-utent iżda moħbija f'kontenut li sistema tal-IA tipproċessa matul it-triq, bħal paġni web, emails jew dokumenti. Meta aġent jaqra kontenut bħal dan, jista' jħawwad kmandi moħbija ma' kompiti ġenwini u, pereżempju, jiżvela data. Is-salvagwardji jinkludu li kontenut estern jiġi ttrattat strettament bħala data, limitazzjoni tal-permessi, skrinjar tal-inputs u talba għal approvazzjoni umana għal azzjonijiet kritiċi.

  • Sigurtà
  • Prompt injection
  • +1
Mudell

Firewall tal-IA

Firewall tal-IA huwa saff protettiv bejn l-utenti, is-sorsi tad-data u mudell tal-IA. Jiskrinja l-inputs għal tentattivi ta' manipulazzjoni bħal prompt injection jew jailbreaks u jiċċekkja l-outputs, pereżempju għal data kunfidenzjali jew kontenut mhux mixtieq, qabel ma jgħaddihom 'il quddiem. Jista' juża regoli, mudelli ta' klassifikazzjoni jew mudell lingwistiku ieħor. Firewall tal-IA inaqqas ir-riskju iżda ma joffrix protezzjoni sħiħa u ma jissostitwixxix permessi limitati u lanqas it-testijiet.

  • Sigurtà
  • Prompt injection
  • +1
Mudell

Red teaming tal-IA

Ir-red teaming tal-IA huwa l-eżami strutturat ta' sistema tal-IA mill-perspettiva ta' attakkanti potenzjali jew ta' użu ħażin. L-ispeċjalisti jittestjaw b'mod ikkontrollat jekk chatbot jiżvelax struzzjonijiet kunfidenzjali, jistax jitwassal għal imġiba mhux mixtieqa, jagħtix fatti foloz jew jesponix data. Is-sejbiet iwasslu għal struzzjonijiet, filtri u permessi aħjar. Verifika tas-sigurtà taċ-chatbot hija forma eħfef: tivvaluta l-konfigurazzjoni u konversazzjonijiet ta' kampjun skont oqsma ta' riskju magħrufa bħall-OWASP Top 10 għall-Applikazzjonijiet LLM.

  • Sigurtà tal-IA
  • Ittestjar tas-sigurtà
  • +1
Mudell

Estrazzjoni tal-prompt tas-sistema

L-estrazzjoni tal-prompt tas-sistema tiddeskrivi tentattivi biex chatbot jew aġent tal-IA jiġi mġiegħel jiżvela l-istruzzjonijiet moħbija tas-sistema tiegħu. Jekk tentattiv bħal dan jirnexxi, ir-riżultat jissejjaħ prompt leaking: l-estrazzjoni hija l-attakk, it-tnixxija hija l-konsegwenza. Il-protezzjoni effettiva tibda billi passwords, ċwievet u regoli kunfidenzjali jinżammu barra mill-istruzzjonijiet u jiġi preżunt li jistgħu jsiru pubbliċi; verifiki tal-input u ittestjar regolari jżidu salvagwardji oħra.

  • Sigurtà
  • Prompt leaking
  • +1
Mudell