SL
PrijavaZačnite zdaj
Slovar pojmov

Jailbreaking

Kaj je Jailbreaking?

Jailbreaking označuje poskuse zaobidenja varnostnih pravil modela UI s premišljeno oblikovanimi vnosi, tako da ustvari vsebino ali izvede dejanja, ki bi ju moral zavrniti. Za organizacije je to tveganje, saj bi klepetalni robot lahko na primer razkril zaupna navodila ali neprimerno odgovoril. Zaščitni ukrepi vključujejo jasna sistemska navodila, pregledovanje vnosov in izpisov, omejena pooblastila, beleženje in redno varnostno testiranje (red teaming).

Kako pomaga KI.ordo

Že pripravljeni predlogi KI.ordo za požarni zid UI in varnostni pregled klepetalnega robota pomagata odkriti sumljive vnose in preveriti, ali so v navodilih lastnih agentov šibke točke.

Več o tem : Jailbreaking

Ustrezne predloge

Teme

  • Varnost
  • Preprečevanje zlorabe
  • LLM

Preizkusite KI.ordo

Agenti, poteki dela in predloge v enem delovnem prostoru – brezplačna 24-urna predstavitev.

Začni predstavitev
← Vsi pojmi

Sorodni pojmi

Posredno vstavljanje ukazov (indirect prompt injection)

Pri posrednem vstavljanju ukazov zavajajoča navodila niso v vnosu uporabnika, temveč skrita v vsebini, ki jo sistem UI sproti obdeluje, kot so spletne strani, e-poštna sporočila ali dokumenti. Ko agent takšno vsebino prebere, lahko skrite ukaze zamenja za prave naloge in na primer razkrije podatke. Zaščite vključujejo obravnavanje zunanje vsebine strogo kot podatkov, omejevanje pooblastil, pregledovanje vnosov in zahtevo po človeški odobritvi za kritična dejanja.

  • Varnost
  • Vstavljanje ukazov
  • +1
Predloga

Požarni zid UI

Požarni zid UI je zaščitna plast med uporabniki, viri podatkov in modelom UI. Vnose pregleduje glede poskusov manipulacije, kot sta vstavljanje ukazov ali jailbreaki, izpise pa preverja, na primer glede zaupnih podatkov ali neželene vsebine, preden jih posreduje naprej. Lahko uporablja pravila, klasifikacijske modele ali drugi jezikovni model. Požarni zid UI zmanjšuje tveganje, vendar ne nudi popolne zaščite in ne nadomešča ne omejenih pooblastil ne testiranja.

  • Varnost
  • Vstavljanje ukazov
  • +1
Predloga

Red teaming za UI

Red teaming za UI je strukturiran pregled sistema UI z vidika morebitnih napadalcev ali zlorabe. Strokovnjaki nadzorovano preizkušajo, ali klepetalni robot razkrije zaupna navodila, ali ga je mogoče zavesti v neželeno vedenje, ali navaja napačna dejstva ali izpostavi podatke. Ugotovitve se upoštevajo pri boljših navodilih, filtrih in dovoljenjih. Varnostna revizija klepetalnega robota je lažja oblika: konfiguracijo in vzorčne pogovore oceni glede na znana področja tveganj, kot je OWASP Top 10 za aplikacije LLM.

  • Varnost UI
  • Varnostno testiranje
  • +1
Predloga

Izvlečenje sistemskega poziva

Izvlečenje sistemskega poziva opisuje poskuse, da bi klepetalni robot ali agent UI razkril svoja skrita sistemska navodila. Če tak poskus uspe, se rezultat imenuje uhajanje pozivov: izvlečenje je napad, uhajanje pa posledica. Učinkovita zaščita se začne s tem, da gesel, ključev in zaupnih pravil ne vpisujete v navodila in predpostavljate, da lahko postanejo javna; preverjanje vnosov in redno testiranje dodata nadaljnje varovalke.

  • Varnost
  • Uhajanje pozivov
  • +1
Predloga