SL
PrijavaZačnite zdaj
Slovar pojmov

Posredno vstavljanje ukazov (indirect prompt injection)

Kaj je Posredno vstavljanje ukazov (indirect prompt injection)?

Pri posrednem vstavljanju ukazov zavajajoča navodila niso v vnosu uporabnika, temveč skrita v vsebini, ki jo sistem UI sproti obdeluje, kot so spletne strani, e-poštna sporočila ali dokumenti. Ko agent takšno vsebino prebere, lahko skrite ukaze zamenja za prave naloge in na primer razkrije podatke. Zaščite vključujejo obravnavanje zunanje vsebine strogo kot podatkov, omejevanje pooblastil, pregledovanje vnosov in zahtevo po človeški odobritvi za kritična dejanja.

Kako pomaga KI.ordo

KI.ordo ponuja že pripravljeno predlogo požarnega zidu UI, ki jo je mogoče postaviti pred agenta kot dodatno plast pregleda, na primer kadar vsebina prispe prek orodja za branje spletnih strani.

Več o tem : Posredno vstavljanje ukazov (indirect prompt injection)

Ustrezne predloge

Teme

  • Varnost
  • Vstavljanje ukazov
  • Agenti

Preizkusite KI.ordo

Agenti, poteki dela in predloge v enem delovnem prostoru – brezplačna 24-urna predstavitev.

Začni predstavitev
← Vsi pojmi

Sorodni pojmi

Požarni zid UI

Požarni zid UI je zaščitna plast med uporabniki, viri podatkov in modelom UI. Vnose pregleduje glede poskusov manipulacije, kot sta vstavljanje ukazov ali jailbreaki, izpise pa preverja, na primer glede zaupnih podatkov ali neželene vsebine, preden jih posreduje naprej. Lahko uporablja pravila, klasifikacijske modele ali drugi jezikovni model. Požarni zid UI zmanjšuje tveganje, vendar ne nudi popolne zaščite in ne nadomešča ne omejenih pooblastil ne testiranja.

  • Varnost
  • Vstavljanje ukazov
  • +1
Predloga

Jailbreaking

Jailbreaking označuje poskuse zaobidenja varnostnih pravil modela UI s premišljeno oblikovanimi vnosi, tako da ustvari vsebino ali izvede dejanja, ki bi ju moral zavrniti. Za organizacije je to tveganje, saj bi klepetalni robot lahko na primer razkril zaupna navodila ali neprimerno odgovoril. Zaščitni ukrepi vključujejo jasna sistemska navodila, pregledovanje vnosov in izpisov, omejena pooblastila, beleženje in redno varnostno testiranje (red teaming).

  • Varnost
  • Preprečevanje zlorabe
  • +1
Predloga

Varnost LLM

Varnost LLM zajema vse ukrepe, ki aplikacije na osnovi velikih jezikovnih modelov ščitijo pred zlorabo, uhajanjem podatkov in neželenim vedenjem. Tipična tveganja so vstavljanje ukazov, razkritje zaupnih navodil ali podatkov in agenti s prekomernimi pooblastili. Zaščita izhaja iz več plasti: jasnih navodil, omejenih pravic, preverjanja vnosov in izpisov, požarnih zidov UI, red teaminga in rednih pregledov.

  • varnost
  • jezikovni modeli
  • +1
Predloga

OWASP LLM Top 10

OWASP Top 10 za aplikacije LLM je seznam najpomembnejših varnostnih tveganj v aplikacijah, zgrajenih na velikih jezikovnih modelih, ki ga objavlja projekt OWASP GenAI Security Project. Aktualna izdaja 2026 je izšla avgusta 2026 (stanje oktober 2026) in zajema: injiciranje pozivov, razkritje občutljivih informacij, čezmerno pooblastilo agenta, dobavno verigo, zastrupitev podatkov in modela, neomejeno porabo, napačne informacije, razkritje skritega konteksta, slabosti vektorjev in vložitev ter nepravilno obravnavo izhodov. Služi kot kontrolni seznam za razvoj in revizije.

  • varnost
  • standard
  • +1
Predloga