Glossarju

Exfiltrazzjoni tad-data

X'inhu Exfiltrazzjoni tad-data?

L-exfiltrazzjoni tad-data hija t-trasferiment mhux awtorizzat ta' data minn sistema. F'applikazzjonijiet tal-IA tista' sseħħ meta chatbot jew aġent jiġi manipulat permezz ta' input maħdum jew kontenut ippreparat – pereżempju fuq paġna web li jaqra – biex jiżvela jew jgħaddi 'l quddiem informazzjoni kunfidenzjali. Il-protezzjoni tinkludi drittijiet ta' aċċess minimi, kontrolli tal-input, restrizzjonijiet fuq konnessjonijiet ħerġin u sorveljanza tar-risposti.

Kif jgħin KI.ordo

Il-mudell “Firewall tal-IA” ta' KI.ordo jista' jitqiegħed quddiem aġent bħala sub-fluss u jżomm lura input li jipprova, pereżempju, jikseb struzzjonijiet tas-sistema jew data.

Sir af aktar : Exfiltrazzjoni tad-data

Suġġetti

  • Sigurtà tal-IA
  • protezzjoni tad-data
  • prompt injection

Ipprova KI.ordo

Aġenti, flussi tax-xogħol u mudelli fi spazju tax-xogħol wieħed – demo b'xejn għal 24 siegħa.

Ibda d-demo
← It-termini kollha

Termini relatati

Firewall tal-IA

Firewall tal-IA huwa saff protettiv bejn l-utenti, is-sorsi tad-data u mudell tal-IA. Jiskrinja l-inputs għal tentattivi ta' manipulazzjoni bħal prompt injection jew jailbreaks u jiċċekkja l-outputs, pereżempju għal data kunfidenzjali jew kontenut mhux mixtieq, qabel ma jgħaddihom 'il quddiem. Jista' juża regoli, mudelli ta' klassifikazzjoni jew mudell lingwistiku ieħor. Firewall tal-IA inaqqas ir-riskju iżda ma joffrix protezzjoni sħiħa u ma jissostitwixxix permessi limitati u lanqas it-testijiet.

  • Sigurtà
  • Prompt injection
  • +1
Mudell

Prompt injection indirett

F'prompt injection indirett, struzzjonijiet manipulattivi ma jkunux fl-input tal-utent iżda moħbija f'kontenut li sistema tal-IA tipproċessa matul it-triq, bħal paġni web, emails jew dokumenti. Meta aġent jaqra kontenut bħal dan, jista' jħawwad kmandi moħbija ma' kompiti ġenwini u, pereżempju, jiżvela data. Is-salvagwardji jinkludu li kontenut estern jiġi ttrattat strettament bħala data, limitazzjoni tal-permessi, skrinjar tal-inputs u talba għal approvazzjoni umana għal azzjonijiet kritiċi.

  • Sigurtà
  • Prompt injection
  • +1
Mudell

Prompt leaking

Il-prompt leaking jirreferi għall-iżvelar mhux intenzjonat tal-istruzzjonijiet interni ta' sistema tal-IA, per eżempju meta chatbot juri l-prompt tas-sistema tiegħu b'risposta għal talba mfassla bir-reqqa. Dan isir problema jekk dawk l-istruzzjonijiet fihom loġika tan-negozju, informazzjoni interna jew saħansitra kredenzjali. Il-lista tal-OWASP għall-applikazzjonijiet LLM issemmi dan ir-riskju b'mod espliċitu. L-aktar salvagward effettiv huwa li l-istruzzjonijiet jinkitbu daqslikieku jistgħu jsiru pubbliċi, li qatt ma jinħażnu sigrieti fihom u li jiġu vverifikati wkoll l-outputs.

  • Sigurtà tal-IA
  • prompt tas-sistema
  • +1
Mudell

Sigurtà tal-LLM

Is-sigurtà tal-LLM tkopri l-miżuri kollha li jipproteġu applikazzjonijiet mibnija fuq mudelli lingwistiċi kbar minn użu ħażin, tnixxija tad-data u mġiba mhux mixtieqa. Riskji tipiċi jinkludu prompt injection, żvelar ta' struzzjonijiet jew data kunfidenzjali, u aġenti b'permessi eċċessivi. Il-protezzjoni tiġi minn diversi saffi: struzzjonijiet ċari, drittijiet ristretti, kontrolli tal-inputs u tal-outputs, firewalls tal-IA, red teaming u awditi regolari.

  • sigurtà
  • mudelli lingwistiċi
  • +1
Mudell