HR
PrijavaZapočnite odmah
Pojmovnik

Sigurnost LLM-a

Što je Sigurnost LLM-a?

Sigurnost LLM-a obuhvaća sve mjere koje aplikacije izgrađene na velikim jezičnim modelima štite od zlouporabe, curenja podataka i neželjenog ponašanja. Tipični rizici uključuju prompt injection, otkrivanje povjerljivih uputa ili podataka te agente s prevelikim ovlastima. Zaštita dolazi iz više slojeva: jasnih uputa, ograničenih prava, provjera unosa i izlaza, UI vatrozida, red teaminga i redovitih revizija.

Kako KI.ordo pomaže

U KI.ordo uloge od promatrača do vlasnika određuju tko smije mijenjati agente i znanje, zapisnik promjena održava izmjene sljedivima, a predložak sigurnosne revizije chatbota podupire provjere.

Saznajte više : Sigurnost LLM-a

Odgovarajući predlošci

Teme

  • sigurnost
  • jezični modeli
  • upravljanje rizicima

Isprobajte KI.ordo

Agenti, tijekovi rada i predlošci u jednom radnom prostoru – besplatna demo verzija na 24 sata.

Pokrenite demo
← Svi pojmovi

Srodni pojmovi

UI vatrozid

UI vatrozid je zaštitni sloj između korisnika, izvora podataka i UI modela. Provjerava unose zbog pokušaja manipulacije poput prompt injectiona ili jailbreakova te provjerava izlaze, primjerice zbog povjerljivih podataka ili neželjenog sadržaja, prije nego ih proslijedi dalje. Može koristiti pravila, klasifikacijske modele ili drugi jezični model. UI vatrozid smanjuje rizik, ali ne nudi potpunu zaštitu i ne zamjenjuje ni ograničene ovlasti ni testiranje.

  • Sigurnost
  • Prompt injection
  • +1
Predložak

UI red teaming

UI red teaming strukturirano je ispitivanje UI sustava iz perspektive potencijalnih napadača ili zlouporabe. Stručnjaci kontrolirano testiraju otkriva li chatbot povjerljive upute, može li ga se navesti na neželjeno ponašanje, daje li netočne činjenice ili otkriva podatke. Nalazi služe za poboljšanje uputa, filtara i ovlasti. Sigurnosna revizija chatbota lakši je oblik: procjenjuje konfiguraciju i primjere razgovora prema poznatim područjima rizika kao što je OWASP Top 10 za LLM aplikacije.

  • Sigurnost UI-ja
  • Sigurnosno testiranje
  • +1
Predložak

Neizravni prompt injection

Kod neizravnog prompt injectiona manipulativne upute nisu u unosu korisnika, nego su skrivene u sadržaju koji UI sustav usput obrađuje, poput web-stranica, e-poruka ili dokumenata. Kada agent pročita takav sadržaj, skrivene naredbe može zamijeniti za stvarne zadatke pa, primjerice, otkriti podatke. Zaštite uključuju postupanje s vanjskim sadržajem strogo kao s podacima, ograničavanje ovlasti, provjeru unosa i traženje ljudskog odobrenja za kritične radnje.

  • Sigurnost
  • Prompt injection
  • +1
Predložak

OWASP LLM Top 10

OWASP Top 10 za LLM aplikacije popis je najvažnijih sigurnosnih rizika u aplikacijama izgrađenima na velikim jezičnim modelima, koji objavljuje projekt OWASP GenAI Security Project. Aktualno izdanje za 2026. izašlo je u kolovozu 2026. (stanje: listopad 2026.) i obuhvaća: prompt injection, otkrivanje osjetljivih informacija, pretjeranu autonomiju, opskrbni lanac, trovanje podataka i modela, neograničenu potrošnju, dezinformacije, otkrivanje skrivenog konteksta, slabosti vektora i umetanja te neispravnu obradu izlaznih podataka. Služi kao kontrolni popis za razvoj i revizije.

  • sigurnost
  • standard
  • +1
Predložak