SL
PrijavaZačnite zdaj
Slovar pojmov

OWASP LLM Top 10

Kaj je OWASP LLM Top 10?

OWASP Top 10 za aplikacije LLM je seznam najpomembnejših varnostnih tveganj v aplikacijah, zgrajenih na velikih jezikovnih modelih, ki ga objavlja projekt OWASP GenAI Security Project. Aktualna izdaja 2026 je izšla avgusta 2026 (stanje oktober 2026) in zajema: injiciranje pozivov, razkritje občutljivih informacij, čezmerno pooblastilo agenta, dobavno verigo, zastrupitev podatkov in modela, neomejeno porabo, napačne informacije, razkritje skritega konteksta, slabosti vektorjev in vložitev ter nepravilno obravnavo izhodov. Služi kot kontrolni seznam za razvoj in revizije.

Kako pomaga KI.ordo

Predloga KI.ordo „Varnostna revizija klepetalnega robota“ oceni navodila agenta in vzorčne pogovore glede na področja tveganj OWASP Top 10 za aplikacije LLM.

Več o tem : OWASP LLM Top 10

Ustrezne predloge

Teme

  • varnost
  • standard
  • revizija

Preizkusite KI.ordo

Agenti, poteki dela in predloge v enem delovnem prostoru – brezplačna 24-urna predstavitev.

Začni predstavitev
← Vsi pojmi

Sorodni pojmi

Varnost LLM

Varnost LLM zajema vse ukrepe, ki aplikacije na osnovi velikih jezikovnih modelov ščitijo pred zlorabo, uhajanjem podatkov in neželenim vedenjem. Tipična tveganja so vstavljanje ukazov, razkritje zaupnih navodil ali podatkov in agenti s prekomernimi pooblastili. Zaščita izhaja iz več plasti: jasnih navodil, omejenih pravic, preverjanja vnosov in izpisov, požarnih zidov UI, red teaminga in rednih pregledov.

  • varnost
  • jezikovni modeli
  • +1
Predloga

Posredno vstavljanje ukazov (indirect prompt injection)

Pri posrednem vstavljanju ukazov zavajajoča navodila niso v vnosu uporabnika, temveč skrita v vsebini, ki jo sistem UI sproti obdeluje, kot so spletne strani, e-poštna sporočila ali dokumenti. Ko agent takšno vsebino prebere, lahko skrite ukaze zamenja za prave naloge in na primer razkrije podatke. Zaščite vključujejo obravnavanje zunanje vsebine strogo kot podatkov, omejevanje pooblastil, pregledovanje vnosov in zahtevo po človeški odobritvi za kritična dejanja.

  • Varnost
  • Vstavljanje ukazov
  • +1
Predloga

Varnostna revizija klepetalnega robota

Varnostna revizija klepetalnega robota je strukturiran pregled, ali klepetalni robot z UI ustrezno varuje zaupne podatke, svoja notranja navodila in svoja dovoljenja za ukrepanje. Med drugim preverja dovzetnost za vbrizgavanje pozivov (prompt injection), nenamerno razkritje informacij in preširok dostop do orodij – pogosto po OWASP Top 10 za aplikacije LLM. Rezultat je poročilo z oceno za vsako področje tveganja in konkretnimi ukrepi.

  • varnost
  • revizija
  • +1
Predloga

Uhajanje pozivov

Uhajanje pozivov označuje nenamerno razkritje notranjih navodil sistema UI, na primer kadar klepetalni robot na zvito zastavljeno zahtevo razkrije svoj sistemski poziv. Težava nastane, če ta navodila vsebujejo poslovno logiko, notranje informacije ali celo poverilnice. Seznam OWASP za aplikacije LLM to tveganje izrecno navaja. Najučinkovitejša zaščita je, da navodila pišete, kot da bi lahko postala javna, vanje nikoli ne shranjujete skrivnosti in preverjate tudi izhode.

  • Varnost UI
  • sistemski poziv
  • +1
Predloga