SL
PrijavaZačnite zdaj
Slovar pojmov

Manipulacija kontekstnega okna

Kaj je Manipulacija kontekstnega okna?

Manipulacija kontekstnega okna označuje napade, ki namerno vplivajo na besedilo, ki ga jezikovni model obdeluje naenkrat, na primer s skritimi navodili v dokumentih, izmišljenimi prejšnjimi deli pogovora ali velikimi količinami polnila, ki izvirna pravila potisnejo v ozadje. Zaščita izhaja iz jasne ločitve zaupanja vrednih navodil od zunanje vsebine, omejitev dolžine, preverjanja vnosov in dodeljevanja agentom čim manj pooblastil.

Kako pomaga KI.ordo

Predlogo KI.ordo „Požarni zid UI: preveri vnos“ je mogoče kot podpotek dela postaviti pred agenta, da vnaprej odfiltrira sumljive vnose.

Več o tem : Manipulacija kontekstnega okna

Ustrezne predloge

Teme

  • Varnost
  • Vstavljanje ukazov
  • LLM

Preizkusite KI.ordo

Agenti, poteki dela in predloge v enem delovnem prostoru – brezplačna 24-urna predstavitev.

Začni predstavitev
← Vsi pojmi

Sorodni pojmi

Posredno vstavljanje ukazov (indirect prompt injection)

Pri posrednem vstavljanju ukazov zavajajoča navodila niso v vnosu uporabnika, temveč skrita v vsebini, ki jo sistem UI sproti obdeluje, kot so spletne strani, e-poštna sporočila ali dokumenti. Ko agent takšno vsebino prebere, lahko skrite ukaze zamenja za prave naloge in na primer razkrije podatke. Zaščite vključujejo obravnavanje zunanje vsebine strogo kot podatkov, omejevanje pooblastil, pregledovanje vnosov in zahtevo po človeški odobritvi za kritična dejanja.

  • Varnost
  • Vstavljanje ukazov
  • +1
Predloga

Požarni zid UI

Požarni zid UI je zaščitna plast med uporabniki, viri podatkov in modelom UI. Vnose pregleduje glede poskusov manipulacije, kot sta vstavljanje ukazov ali jailbreaki, izpise pa preverja, na primer glede zaupnih podatkov ali neželene vsebine, preden jih posreduje naprej. Lahko uporablja pravila, klasifikacijske modele ali drugi jezikovni model. Požarni zid UI zmanjšuje tveganje, vendar ne nudi popolne zaščite in ne nadomešča ne omejenih pooblastil ne testiranja.

  • Varnost
  • Vstavljanje ukazov
  • +1
Predloga

Token Smuggling

Tihotapljenje tokenov je oblika zaobhoda zaščite (jailbreaking), pri kateri so neželena navodila prikrita, na primer razdeljena na drobce, drugače kodirana ali zapisana z podobnimi znaki, tako da jih preprosti filtri ključnih besed spregledajo, jezikovni model pa njihov pomen vseeno razume. Zaščita vključuje normalizacijo vhodov pred ocenjevanjem, preverjanja na podlagi vsebine in ne le besed, pregledovanje izhodov ter podeljevanje čim manj pooblastil agentom UI.

  • Varnost
  • Jailbreaking
  • +1
Predloga

Jailbreaking

Jailbreaking označuje poskuse zaobidenja varnostnih pravil modela UI s premišljeno oblikovanimi vnosi, tako da ustvari vsebino ali izvede dejanja, ki bi ju moral zavrniti. Za organizacije je to tveganje, saj bi klepetalni robot lahko na primer razkril zaupna navodila ali neprimerno odgovoril. Zaščitni ukrepi vključujejo jasna sistemska navodila, pregledovanje vnosov in izpisov, omejena pooblastila, beleženje in redno varnostno testiranje (red teaming).

  • Varnost
  • Preprečevanje zlorabe
  • +1
Predloga