SL
PrijavaZačnite zdaj
Slovar pojmov

Izvlečenje sistemskega poziva

Kaj je Izvlečenje sistemskega poziva?

Izvlečenje sistemskega poziva opisuje poskuse, da bi klepetalni robot ali agent UI razkril svoja skrita sistemska navodila. Če tak poskus uspe, se rezultat imenuje uhajanje pozivov: izvlečenje je napad, uhajanje pa posledica. Učinkovita zaščita se začne s tem, da gesel, ključev in zaupnih pravil ne vpisujete v navodila in predpostavljate, da lahko postanejo javna; preverjanje vnosov in redno testiranje dodata nadaljnje varovalke.

Kako pomaga KI.ordo

Predloga KI.ordo „Varnostna revizija klepetalnega robota“ preveri navodila agenta glede tveganj, kot je razkritje sistemskih navodil, in ponudi neškodljiva vprašanja za samopreizkus.

Več o tem : Izvlečenje sistemskega poziva

Ustrezne predloge

Teme

  • Varnost
  • Uhajanje pozivov
  • Chatbots

Preizkusite KI.ordo

Agenti, poteki dela in predloge v enem delovnem prostoru – brezplačna 24-urna predstavitev.

Začni predstavitev
← Vsi pojmi

Sorodni pojmi

Uhajanje pozivov

Uhajanje pozivov označuje nenamerno razkritje notranjih navodil sistema UI, na primer kadar klepetalni robot na zvito zastavljeno zahtevo razkrije svoj sistemski poziv. Težava nastane, če ta navodila vsebujejo poslovno logiko, notranje informacije ali celo poverilnice. Seznam OWASP za aplikacije LLM to tveganje izrecno navaja. Najučinkovitejša zaščita je, da navodila pišete, kot da bi lahko postala javna, vanje nikoli ne shranjujete skrivnosti in preverjate tudi izhode.

  • Varnost UI
  • sistemski poziv
  • +1
Predloga

Jailbreaking

Jailbreaking označuje poskuse zaobidenja varnostnih pravil modela UI s premišljeno oblikovanimi vnosi, tako da ustvari vsebino ali izvede dejanja, ki bi ju moral zavrniti. Za organizacije je to tveganje, saj bi klepetalni robot lahko na primer razkril zaupna navodila ali neprimerno odgovoril. Zaščitni ukrepi vključujejo jasna sistemska navodila, pregledovanje vnosov in izpisov, omejena pooblastila, beleženje in redno varnostno testiranje (red teaming).

  • Varnost
  • Preprečevanje zlorabe
  • +1
Predloga

Varnostna revizija klepetalnega robota

Varnostna revizija klepetalnega robota je strukturiran pregled, ali klepetalni robot z UI ustrezno varuje zaupne podatke, svoja notranja navodila in svoja dovoljenja za ukrepanje. Med drugim preverja dovzetnost za vbrizgavanje pozivov (prompt injection), nenamerno razkritje informacij in preširok dostop do orodij – pogosto po OWASP Top 10 za aplikacije LLM. Rezultat je poročilo z oceno za vsako področje tveganja in konkretnimi ukrepi.

  • varnost
  • revizija
  • +1
Predloga

OWASP LLM Top 10

OWASP Top 10 za aplikacije LLM je seznam najpomembnejših varnostnih tveganj v aplikacijah, zgrajenih na velikih jezikovnih modelih, ki ga objavlja projekt OWASP GenAI Security Project. Aktualna izdaja 2026 je izšla avgusta 2026 (stanje oktober 2026) in zajema: injiciranje pozivov, razkritje občutljivih informacij, čezmerno pooblastilo agenta, dobavno verigo, zastrupitev podatkov in modela, neomejeno porabo, napačne informacije, razkritje skritega konteksta, slabosti vektorjev in vložitev ter nepravilno obravnavo izhodov. Služi kot kontrolni seznam za razvoj in revizije.

  • varnost
  • standard
  • +1
Predloga