HR
PrijavaZapočnite odmah
Pojmovnik

Eksfiltracija podataka

Što je Eksfiltracija podataka?

Eksfiltracija podataka je neovlašteni prijenos podataka iz sustava. U UI aplikacijama može se dogoditi kada se chatbot ili agent posebno oblikovanim unosima ili podmetnutim sadržajem – primjerice na web-stranici koju čita – navede da otkrije ili proslijedi povjerljive informacije. Zaštita uključuje minimalna prava pristupa, provjere unosa, ograničenja odlaznih veza i nadzor odgovora.

Kako KI.ordo pomaže

Predložak „UI vatrozid” u KI.ordo može se kao podtijek postaviti ispred agenta i zadržava unose koji pokušavaju, primjerice, doći do sistemskih uputa ili podataka.

Saznajte više : Eksfiltracija podataka

Odgovarajući predlošci

Teme

  • Sigurnost UI-ja
  • zaštita podataka
  • prompt injection

Isprobajte KI.ordo

Agenti, tijekovi rada i predlošci u jednom radnom prostoru – besplatna demo verzija na 24 sata.

Pokrenite demo
← Svi pojmovi

Srodni pojmovi

UI vatrozid

UI vatrozid je zaštitni sloj između korisnika, izvora podataka i UI modela. Provjerava unose zbog pokušaja manipulacije poput prompt injectiona ili jailbreakova te provjerava izlaze, primjerice zbog povjerljivih podataka ili neželjenog sadržaja, prije nego ih proslijedi dalje. Može koristiti pravila, klasifikacijske modele ili drugi jezični model. UI vatrozid smanjuje rizik, ali ne nudi potpunu zaštitu i ne zamjenjuje ni ograničene ovlasti ni testiranje.

  • Sigurnost
  • Prompt injection
  • +1
Predložak

Neizravni prompt injection

Kod neizravnog prompt injectiona manipulativne upute nisu u unosu korisnika, nego su skrivene u sadržaju koji UI sustav usput obrađuje, poput web-stranica, e-poruka ili dokumenata. Kada agent pročita takav sadržaj, skrivene naredbe može zamijeniti za stvarne zadatke pa, primjerice, otkriti podatke. Zaštite uključuju postupanje s vanjskim sadržajem strogo kao s podacima, ograničavanje ovlasti, provjeru unosa i traženje ljudskog odobrenja za kritične radnje.

  • Sigurnost
  • Prompt injection
  • +1
Predložak

Curenje upita

Curenje upita (prompt leaking) označava nenamjerno otkrivanje internih uputa UI sustava, primjerice kada chatbot na lukavo formuliran zahtjev otkrije svoj sistemski upit. To postaje problem ako te upute sadrže poslovnu logiku, interne informacije ili čak vjerodajnice. Popis OWASP za LLM aplikacije izričito navodi taj rizik. Najučinkovitija zaštita je pisati upute kao da bi mogle postati javne, u njih nikada ne pohranjivati tajne i provjeravati i izlazne rezultate.

  • Sigurnost UI-ja
  • sistemski upit
  • +1
Predložak

Sigurnost LLM-a

Sigurnost LLM-a obuhvaća sve mjere koje aplikacije izgrađene na velikim jezičnim modelima štite od zlouporabe, curenja podataka i neželjenog ponašanja. Tipični rizici uključuju prompt injection, otkrivanje povjerljivih uputa ili podataka te agente s prevelikim ovlastima. Zaštita dolazi iz više slojeva: jasnih uputa, ograničenih prava, provjera unosa i izlaza, UI vatrozida, red teaminga i redovitih revizija.

  • sigurnost
  • jezični modeli
  • +1
Predložak