SL
PrijavaZačnite zdaj
Slovar pojmov

Uhajanje pozivov

Kaj je Uhajanje pozivov?

Uhajanje pozivov označuje nenamerno razkritje notranjih navodil sistema UI, na primer kadar klepetalni robot na zvito zastavljeno zahtevo razkrije svoj sistemski poziv. Težava nastane, če ta navodila vsebujejo poslovno logiko, notranje informacije ali celo poverilnice. Seznam OWASP za aplikacije LLM to tveganje izrecno navaja. Najučinkovitejša zaščita je, da navodila pišete, kot da bi lahko postala javna, vanje nikoli ne shranjujete skrivnosti in preverjate tudi izhode.

Kako pomaga KI.ordo

Predloga KI.ordo „Varnostna revizija klepetalnega robota“ pomaga preveriti navodila agenta glede tega tveganja; gesel in drugih skrivnosti vanje nikoli ne vpisujte.

Več o tem : Uhajanje pozivov

Ustrezne predloge

Teme

  • Varnost UI
  • sistemski poziv
  • varstvo podatkov

Preizkusite KI.ordo

Agenti, poteki dela in predloge v enem delovnem prostoru – brezplačna 24-urna predstavitev.

Začni predstavitev
← Vsi pojmi

Sorodni pojmi

Izvlečenje sistemskega poziva

Izvlečenje sistemskega poziva opisuje poskuse, da bi klepetalni robot ali agent UI razkril svoja skrita sistemska navodila. Če tak poskus uspe, se rezultat imenuje uhajanje pozivov: izvlečenje je napad, uhajanje pa posledica. Učinkovita zaščita se začne s tem, da gesel, ključev in zaupnih pravil ne vpisujete v navodila in predpostavljate, da lahko postanejo javna; preverjanje vnosov in redno testiranje dodata nadaljnje varovalke.

  • Varnost
  • Uhajanje pozivov
  • +1
Predloga

Požarni zid UI

Požarni zid UI je zaščitna plast med uporabniki, viri podatkov in modelom UI. Vnose pregleduje glede poskusov manipulacije, kot sta vstavljanje ukazov ali jailbreaki, izpise pa preverja, na primer glede zaupnih podatkov ali neželene vsebine, preden jih posreduje naprej. Lahko uporablja pravila, klasifikacijske modele ali drugi jezikovni model. Požarni zid UI zmanjšuje tveganje, vendar ne nudi popolne zaščite in ne nadomešča ne omejenih pooblastil ne testiranja.

  • Varnost
  • Vstavljanje ukazov
  • +1
Predloga

OWASP LLM Top 10

OWASP Top 10 za aplikacije LLM je seznam najpomembnejših varnostnih tveganj v aplikacijah, zgrajenih na velikih jezikovnih modelih, ki ga objavlja projekt OWASP GenAI Security Project. Aktualna izdaja 2026 je izšla avgusta 2026 (stanje oktober 2026) in zajema: injiciranje pozivov, razkritje občutljivih informacij, čezmerno pooblastilo agenta, dobavno verigo, zastrupitev podatkov in modela, neomejeno porabo, napačne informacije, razkritje skritega konteksta, slabosti vektorjev in vložitev ter nepravilno obravnavo izhodov. Služi kot kontrolni seznam za razvoj in revizije.

  • varnost
  • standard
  • +1
Predloga

Varnostna revizija klepetalnega robota

Varnostna revizija klepetalnega robota je strukturiran pregled, ali klepetalni robot z UI ustrezno varuje zaupne podatke, svoja notranja navodila in svoja dovoljenja za ukrepanje. Med drugim preverja dovzetnost za vbrizgavanje pozivov (prompt injection), nenamerno razkritje informacij in preširok dostop do orodij – pogosto po OWASP Top 10 za aplikacije LLM. Rezultat je poročilo z oceno za vsako področje tveganja in konkretnimi ukrepi.

  • varnost
  • revizija
  • +1
Predloga