ET
Logi sisseAlusta kohe
Sõnastik

Kontekstiakna manipuleerimine

Mis on Kontekstiakna manipuleerimine?

Kontekstiakna manipuleerimine tähendab rünnakuid, mis mõjutavad tahtlikult teksti, mida keelemudel korraga töötleb, näiteks dokumentidesse peidetud juhiste, vestluse väljamõeldud varasemate osade või suure hulga täiteteksti kaudu, mis tõrjub algsed reeglid tagaplaanile. Kaitse tuleneb usaldusväärsete juhiste selgest eraldamisest välisest sisust, pikkusepiirangutest, sisendite kontrollist ning agentidele võimalikult väheste õiguste andmisest.

Kuidas KI.ordo aitab

KI.ordo mall „TI tulemüür: kontrolli sisendit“ saab agendi ette paigutada alamtöövoona, et kahtlased sisendid eelnevalt välja filtreerida.

Loe lähemalt : Kontekstiakna manipuleerimine

Sobivad mallid

Teemad

  • Turvalisus
  • Prompt injection
  • LLM

Proovi KI.ordot

Agendid, töövood ja mallid ühes tööruumis – tasuta 24-tunnine demo.

Alusta demot
← Kõik terminid

Seotud terminid

Kaudne prompt injection

Kaudse prompt injection'i korral ei ole manipuleerivad juhised kasutaja sisendis, vaid peidetud sisus, mida TI-süsteem muu hulgas töötleb, näiteks veebilehtedel, e-kirjades või dokumentides. Kui agent sellist sisu loeb, võib ta peidetud käsud ekslikult päris ülesanneteks pidada ja näiteks andmeid avaldada. Kaitsemeetmed on välise sisu käsitlemine rangelt andmetena, õiguste piiramine, sisendite filtreerimine ja inimese kinnituse nõudmine kriitiliste toimingute puhul.

  • Turvalisus
  • Prompt injection
  • +1
Mall

TI tulemüür

TI tulemüür on kaitsekiht kasutajate, andmeallikate ja TI-mudeli vahel. See filtreerib sisendeid manipuleerimiskatsete, nagu prompt injection või jailbreak, suhtes ning kontrollib väljundeid, näiteks konfidentsiaalsete andmete või soovimatu sisu osas, enne nende edasiandmist. See võib kasutada reegleid, klassifitseerimismudeleid või teist keelemudelit. TI tulemüür vähendab riski, kuid ei paku täielikku kaitset ning ei asenda piiratud õigusi ega testimist.

  • Turvalisus
  • Prompt injection
  • +1
Mall

Token Smuggling

Tokenisalakaubavedu (token smuggling) on jailbreakimise vorm, kus soovimatuid juhiseid varjatakse, näiteks jagatakse killukesteks, kodeeritakse ümber või kirjutatakse sarnaste märkidega, nii et lihtsad märksõnafiltrid jäävad nendest ilma, kuid keelemudel saab siiski nende tähendusest aru. Kaitse hõlmab sisendite normaliseerimist enne hindamist, sisupõhiseid, mitte ainult sõnapõhiseid kontrolle, väljundite ülevaatamist ja TI-agentidele võimalikult väheste õiguste andmist.

  • Turvalisus
  • Jailbreaking
  • +1
Mall

Jailbreaking

Jailbreaking tähendab katseid TI-mudeli ohutusreeglitest mööda hiilida nutikalt sõnastatud sisenditega, et see looks sisu või teeks toiminguid, millest ta peaks keelduma. Organisatsioonide jaoks on see risk, sest vestlusrobot võib näiteks avaldada konfidentsiaalseid juhiseid või reageerida sobimatult. Kaitsemeetmed on selged süsteemijuhised, sisendite ja väljundite filtreerimine, piiratud õigused, logimine ja regulaarne turvatestimine (red teaming).

  • Turvalisus
  • Väärkasutuse ennetamine
  • +1
Mall