ET
Logi sisseAlusta kohe
Sõnastik

Andmete väljavool

Mis on Andmete väljavool?

Andmete väljavool on andmete loata edastamine süsteemist välja. TI-rakendustes võib see juhtuda siis, kui vestlusrobotit või agenti manipuleeritakse spetsiaalselt koostatud sisendite või ettevalmistatud sisuga – näiteks veebilehel, mida agent loeb –, et see avaldaks või edastaks konfidentsiaalset infot. Kaitsemeetmete hulka kuuluvad minimaalsed juurdepääsuõigused, sisendite kontroll, väljuvate ühenduste piiramine ja vastuste jälgimine.

Kuidas KI.ordo aitab

KI.ordo malli „TI tulemüür“ saab agendi ette paigutada alamtöövoona ja see peatab sisendid, mis püüavad näiteks välja pärida süsteemijuhiseid või andmeid.

Loe lähemalt : Andmete väljavool

Sobivad mallid

Teemad

  • TI turvalisus
  • andmekaitse
  • prompt injection

Proovi KI.ordot

Agendid, töövood ja mallid ühes tööruumis – tasuta 24-tunnine demo.

Alusta demot
← Kõik terminid

Seotud terminid

TI tulemüür

TI tulemüür on kaitsekiht kasutajate, andmeallikate ja TI-mudeli vahel. See filtreerib sisendeid manipuleerimiskatsete, nagu prompt injection või jailbreak, suhtes ning kontrollib väljundeid, näiteks konfidentsiaalsete andmete või soovimatu sisu osas, enne nende edasiandmist. See võib kasutada reegleid, klassifitseerimismudeleid või teist keelemudelit. TI tulemüür vähendab riski, kuid ei paku täielikku kaitset ning ei asenda piiratud õigusi ega testimist.

  • Turvalisus
  • Prompt injection
  • +1
Mall

Kaudne prompt injection

Kaudse prompt injection'i korral ei ole manipuleerivad juhised kasutaja sisendis, vaid peidetud sisus, mida TI-süsteem muu hulgas töötleb, näiteks veebilehtedel, e-kirjades või dokumentides. Kui agent sellist sisu loeb, võib ta peidetud käsud ekslikult päris ülesanneteks pidada ja näiteks andmeid avaldada. Kaitsemeetmed on välise sisu käsitlemine rangelt andmetena, õiguste piiramine, sisendite filtreerimine ja inimese kinnituse nõudmine kriitiliste toimingute puhul.

  • Turvalisus
  • Prompt injection
  • +1
Mall

Prompti leke

Prompti leke (prompt leaking) tähendab TI-süsteemi sisemiste juhiste tahtmatut avalikuks tulemist, näiteks kui vestlusrobot paljastab oma süsteemiprompti nutikalt sõnastatud päringu peale. See muutub probleemiks, kui need juhised sisaldavad ärilogikat, sisemist teavet või isegi pääsuandmeid. OWASP-i loend suurte keelemudelite rakendustele nimetab seda riski selgesõnaliselt. Tõhusaim kaitse on kirjutada juhised nii, nagu need võiksid avalikuks saada, mitte kunagi salvestada neisse saladusi ja kontrollida ka väljundeid.

  • TI turvalisus
  • süsteemiprompt
  • +1
Mall

LLM-i turvalisus

LLM-i turvalisus hõlmab kõiki meetmeid, mis kaitsevad suurtel keelemudelitel põhinevaid rakendusi väärkasutuse, andmelekke ja soovimatu käitumise eest. Tüüpilised riskid on prompt injection, konfidentsiaalsete juhiste või andmete avaldamine ning liiga laiade õigustega agendid. Kaitse tuleneb mitmest kihist: selged juhised, piiratud õigused, sisendite ja väljundite kontroll, TI tulemüürid, red teaming ja regulaarsed auditid.

  • turvalisus
  • keelemudelid
  • +1
Mall