SL
PrijavaZačnite zdaj
Slovar pojmov

Kraja podatkov (izfiltracija)

Kaj je Kraja podatkov (izfiltracija)?

Kraja podatkov (izfiltracija) je nepooblaščen prenos podatkov iz sistema. Pri aplikacijah UI se lahko zgodi, ko s prirejenimi vnosi ali pripravljeno vsebino – na primer na spletni strani, ki jo prebere – manipuliramo klepetalnega robota ali agenta, da razkrije ali posreduje zaupne informacije. Zaščita vključuje minimalne pravice dostopa, preverjanje vnosov, omejitve odhodnih povezav in nadzor odgovorov.

Kako pomaga KI.ordo

Predlogo „Požarni zid UI“ iz KI.ordo je mogoče kot podpotek dela postaviti pred agenta; zadrži vnose, ki poskušajo na primer pridobiti sistemska navodila ali podatke.

Več o tem : Kraja podatkov (izfiltracija)

Ustrezne predloge

Teme

  • Varnost UI
  • varstvo podatkov
  • vstavljanje ukazov (prompt injection)

Preizkusite KI.ordo

Agenti, poteki dela in predloge v enem delovnem prostoru – brezplačna 24-urna predstavitev.

Začni predstavitev
← Vsi pojmi

Sorodni pojmi

Požarni zid UI

Požarni zid UI je zaščitna plast med uporabniki, viri podatkov in modelom UI. Vnose pregleduje glede poskusov manipulacije, kot sta vstavljanje ukazov ali jailbreaki, izpise pa preverja, na primer glede zaupnih podatkov ali neželene vsebine, preden jih posreduje naprej. Lahko uporablja pravila, klasifikacijske modele ali drugi jezikovni model. Požarni zid UI zmanjšuje tveganje, vendar ne nudi popolne zaščite in ne nadomešča ne omejenih pooblastil ne testiranja.

  • Varnost
  • Vstavljanje ukazov
  • +1
Predloga

Posredno vstavljanje ukazov (indirect prompt injection)

Pri posrednem vstavljanju ukazov zavajajoča navodila niso v vnosu uporabnika, temveč skrita v vsebini, ki jo sistem UI sproti obdeluje, kot so spletne strani, e-poštna sporočila ali dokumenti. Ko agent takšno vsebino prebere, lahko skrite ukaze zamenja za prave naloge in na primer razkrije podatke. Zaščite vključujejo obravnavanje zunanje vsebine strogo kot podatkov, omejevanje pooblastil, pregledovanje vnosov in zahtevo po človeški odobritvi za kritična dejanja.

  • Varnost
  • Vstavljanje ukazov
  • +1
Predloga

Uhajanje pozivov

Uhajanje pozivov označuje nenamerno razkritje notranjih navodil sistema UI, na primer kadar klepetalni robot na zvito zastavljeno zahtevo razkrije svoj sistemski poziv. Težava nastane, če ta navodila vsebujejo poslovno logiko, notranje informacije ali celo poverilnice. Seznam OWASP za aplikacije LLM to tveganje izrecno navaja. Najučinkovitejša zaščita je, da navodila pišete, kot da bi lahko postala javna, vanje nikoli ne shranjujete skrivnosti in preverjate tudi izhode.

  • Varnost UI
  • sistemski poziv
  • +1
Predloga

Varnost LLM

Varnost LLM zajema vse ukrepe, ki aplikacije na osnovi velikih jezikovnih modelov ščitijo pred zlorabo, uhajanjem podatkov in neželenim vedenjem. Tipična tveganja so vstavljanje ukazov, razkritje zaupnih navodil ali podatkov in agenti s prekomernimi pooblastili. Zaščita izhaja iz več plasti: jasnih navodil, omejenih pravic, preverjanja vnosov in izpisov, požarnih zidov UI, red teaminga in rednih pregledov.

  • varnost
  • jezikovni modeli
  • +1
Predloga