Glosārijs

Konteksta loga manipulācija

Kas ir Konteksta loga manipulācija?

Konteksta loga manipulācija apzīmē uzbrukumus, kas apzināti ietekmē tekstu, ko valodas modelis apstrādā vienlaikus, piemēram, ar slēptiem norādījumiem dokumentos, safabricētām iepriekšējām sarunas daļām vai lielu daudzumu pildvielas, kas atbīda sākotnējos noteikumus otrajā plānā. Aizsardzību nodrošina skaidra uzticamu norādījumu nošķiršana no ārēja satura, garuma ierobežojumi, ievaddatu pārbaude un aģentiem pēc iespējas mazāku atļauju piešķiršana.

Kā palīdz KI.ordo

KI.ordo veidni „MI ugunsmūris: pārbaudīt ievaddatus” var ievietot pirms aģenta kā apakšplūsmu, lai iepriekš atfiltrētu aizdomīgus ievaddatus.

Uzzināt vairāk : Konteksta loga manipulācija

Tēmas

  • Drošība
  • Uzvedņu injekcija
  • LLM

Izmēģiniet KI.ordo

Aģenti, plūsmas un veidnes vienā darbvietā – bezmaksas 24 stundu demo.

Sākt demo
← Visi termini

Saistītie termini

Netiešā uzvedņu injekcija

Netiešā uzvedņu injekcijā manipulatīvi norādījumi nav lietotāja ievaddatos, bet paslēpti saturā, ko MI sistēma apstrādā ceļā, piemēram, tīmekļa lapās, e-pastos vai dokumentos. Kad aģents nolasa šādu saturu, tas slēptās komandas var palaist garām kā īstus uzdevumus un, piemēram, izpaust datus. Aizsardzības pasākumi ir ārēja satura stingra uzskatīšana par datiem, atļauju ierobežošana, ievaddatu pārbaude un cilvēka apstiprinājuma prasīšana kritiskām darbībām.

  • Drošība
  • Uzvedņu injekcija
  • +1
Veidne

MI ugunsmūris

MI ugunsmūris ir aizsargslānis starp lietotājiem, datu avotiem un MI modeli. Tas pārbauda ievaddatus, vai nav manipulācijas mēģinājumu, piemēram, uzvedņu injekcijas vai jailbreak, un pirms nodošanas tālāk pārbauda izvaddatus, piemēram, vai tajos nav konfidenciālu datu vai nevēlama satura. Tas var izmantot noteikumus, klasifikācijas modeļus vai otru valodas modeli. MI ugunsmūris mazina risku, bet nenodrošina pilnīgu aizsardzību un neaizstāj ne ierobežotas atļaujas, ne testēšanu.

  • Drošība
  • Uzvedņu injekcija
  • +1
Veidne

Token Smuggling

Tokenu viltošana ir jailbreak veids, kurā nevēlami norādījumi tiek maskēti, piemēram, sadalīti fragmentos, pārkodēti vai uzrakstīti ar līdzīgi izskatīgām rakstzīmēm, lai vienkārši atslēgvārdu filtri tos nepamanītu, bet valodas modelis tomēr saprastu to nozīmi. Aizsardzība ietver ievades normalizēšanu pirms tās novērtēšanas, uz saturu, nevis tikai uz vārdiem balstītas pārbaudes, izvades pārskatīšanu un MI aģentiem pēc iespējas mazāku atļauju piešķiršanu.

  • Drošība
  • Jailbreaking
  • +1
Veidne

Jailbreaking

Jailbreaking apzīmē mēģinājumus apiet MI modeļa drošības noteikumus ar viltīgi formulētiem ievaddatiem, lai tas radītu saturu vai veiktu darbības, no kurām tam būtu jāatsakās. Organizācijām tas ir risks, jo tērzēšanas robots, piemēram, varētu atklāt konfidenciālus norādījumus vai atbildēt nepiemēroti. Aizsardzības pasākumi ir skaidri sistēmas norādījumi, ievaddatu un izvaddatu pārbaude, ierobežotas atļaujas, žurnālēšana un regulāra drošības testēšana (red teaming).

  • Drošība
  • Ļaunprātīgas izmantošanas novēršana
  • +1
Veidne