HR
PrijavaZapočnite odmah
Pojmovnik

Manipulacija kontekstnim prozorom

Što je Manipulacija kontekstnim prozorom?

Manipulacija kontekstnim prozorom odnosi se na napade koji namjerno utječu na tekst koji jezični model obrađuje odjednom, primjerice skrivenim uputama u dokumentima, izmišljenim ranijim dijelovima razgovora ili velikim količinama punila koje izvorna pravila potiskuju u pozadinu. Zaštita proizlazi iz jasnog razdvajanja pouzdanih uputa od vanjskog sadržaja, ograničenja duljine, provjere unosa i dodjele agentima što manje ovlasti.

Kako KI.ordo pomaže

Predložak „UI vatrozid: provjeri unos” u KI.ordo može se kao podtijek postaviti ispred agenta kako bi se unaprijed odfiltrirali sumnjivi unosi.

Saznajte više : Manipulacija kontekstnim prozorom

Odgovarajući predlošci

Teme

  • Sigurnost
  • Prompt injection
  • LLM

Isprobajte KI.ordo

Agenti, tijekovi rada i predlošci u jednom radnom prostoru – besplatna demo verzija na 24 sata.

Pokrenite demo
← Svi pojmovi

Srodni pojmovi

Neizravni prompt injection

Kod neizravnog prompt injectiona manipulativne upute nisu u unosu korisnika, nego su skrivene u sadržaju koji UI sustav usput obrađuje, poput web-stranica, e-poruka ili dokumenata. Kada agent pročita takav sadržaj, skrivene naredbe može zamijeniti za stvarne zadatke pa, primjerice, otkriti podatke. Zaštite uključuju postupanje s vanjskim sadržajem strogo kao s podacima, ograničavanje ovlasti, provjeru unosa i traženje ljudskog odobrenja za kritične radnje.

  • Sigurnost
  • Prompt injection
  • +1
Predložak

UI vatrozid

UI vatrozid je zaštitni sloj između korisnika, izvora podataka i UI modela. Provjerava unose zbog pokušaja manipulacije poput prompt injectiona ili jailbreakova te provjerava izlaze, primjerice zbog povjerljivih podataka ili neželjenog sadržaja, prije nego ih proslijedi dalje. Može koristiti pravila, klasifikacijske modele ili drugi jezični model. UI vatrozid smanjuje rizik, ali ne nudi potpunu zaštitu i ne zamjenjuje ni ograničene ovlasti ni testiranje.

  • Sigurnost
  • Prompt injection
  • +1
Predložak

Token Smuggling

Token smuggling oblik je jailbreakinga u kojem se neželjene upute prikrivaju, primjerice dijele na fragmente, ponovno kodiraju ili pišu znakovima sličnog izgleda, tako da ih jednostavni filtri ključnih riječi propuste, dok jezični model ipak razumije njihovo značenje. Zaštita uključuje normalizaciju ulaza prije njihove procjene, provjere temeljene na sadržaju, a ne samo na riječima, pregled izlaznih rezultata i davanje UI agentima što je moguće manje dopuštenja.

  • Sigurnost
  • Jailbreaking
  • +1
Predložak

Jailbreaking

Jailbreaking označava pokušaje zaobilaženja sigurnosnih pravila UI modela vješto formuliranim unosima kako bi proizveo sadržaj ili poduzeo radnje koje bi trebao odbiti. Za organizacije je to rizik, jer bi chatbot mogao, primjerice, otkriti povjerljive upute ili neprimjereno odgovoriti. Zaštitne mjere uključuju jasne sistemske upute, provjeru unosa i izlaza, ograničene ovlasti, bilježenje i redovita sigurnosna testiranja (red teaming).

  • Sigurnost
  • Sprječavanje zlouporabe
  • +1
Predložak