HR
PrijavaZapočnite odmah
Pojmovnik

Jailbreaking

Što je Jailbreaking?

Jailbreaking označava pokušaje zaobilaženja sigurnosnih pravila UI modela vješto formuliranim unosima kako bi proizveo sadržaj ili poduzeo radnje koje bi trebao odbiti. Za organizacije je to rizik, jer bi chatbot mogao, primjerice, otkriti povjerljive upute ili neprimjereno odgovoriti. Zaštitne mjere uključuju jasne sistemske upute, provjeru unosa i izlaza, ograničene ovlasti, bilježenje i redovita sigurnosna testiranja (red teaming).

Kako KI.ordo pomaže

Gotovi predlošci u KI.ordo za UI vatrozid i sigurnosnu reviziju chatbota pomažu u uočavanju sumnjivih unosa i provjeri slabosti u uputama vlastitih agenata.

Saznajte više : Jailbreaking

Odgovarajući predlošci

Teme

  • Sigurnost
  • Sprječavanje zlouporabe
  • LLM

Isprobajte KI.ordo

Agenti, tijekovi rada i predlošci u jednom radnom prostoru – besplatna demo verzija na 24 sata.

Pokrenite demo
← Svi pojmovi

Srodni pojmovi

Neizravni prompt injection

Kod neizravnog prompt injectiona manipulativne upute nisu u unosu korisnika, nego su skrivene u sadržaju koji UI sustav usput obrađuje, poput web-stranica, e-poruka ili dokumenata. Kada agent pročita takav sadržaj, skrivene naredbe može zamijeniti za stvarne zadatke pa, primjerice, otkriti podatke. Zaštite uključuju postupanje s vanjskim sadržajem strogo kao s podacima, ograničavanje ovlasti, provjeru unosa i traženje ljudskog odobrenja za kritične radnje.

  • Sigurnost
  • Prompt injection
  • +1
Predložak

UI vatrozid

UI vatrozid je zaštitni sloj između korisnika, izvora podataka i UI modela. Provjerava unose zbog pokušaja manipulacije poput prompt injectiona ili jailbreakova te provjerava izlaze, primjerice zbog povjerljivih podataka ili neželjenog sadržaja, prije nego ih proslijedi dalje. Može koristiti pravila, klasifikacijske modele ili drugi jezični model. UI vatrozid smanjuje rizik, ali ne nudi potpunu zaštitu i ne zamjenjuje ni ograničene ovlasti ni testiranje.

  • Sigurnost
  • Prompt injection
  • +1
Predložak

UI red teaming

UI red teaming strukturirano je ispitivanje UI sustava iz perspektive potencijalnih napadača ili zlouporabe. Stručnjaci kontrolirano testiraju otkriva li chatbot povjerljive upute, može li ga se navesti na neželjeno ponašanje, daje li netočne činjenice ili otkriva podatke. Nalazi služe za poboljšanje uputa, filtara i ovlasti. Sigurnosna revizija chatbota lakši je oblik: procjenjuje konfiguraciju i primjere razgovora prema poznatim područjima rizika kao što je OWASP Top 10 za LLM aplikacije.

  • Sigurnost UI-ja
  • Sigurnosno testiranje
  • +1
Predložak

Izvlačenje sistemskog upita (System Prompt Extraction)

Izvlačenje sistemskog upita označava pokušaje da se chatbot ili UI agent natjera da otkrije svoje skrivene sistemske upute. Ako takav pokušaj uspije, rezultat se naziva curenje upita (prompt leaking): izvlačenje je napad, a curenje posljedica. Učinkovita zaštita počinje time da se lozinke, ključevi i povjerljiva pravila drže izvan uputa te da se pretpostavi da mogu postati javni; provjere unosa i redovito testiranje dodatne su mjere zaštite.

  • Sigurnost
  • Curenje upita
  • +1
Predložak