HR
PrijavaZapočnite odmah
Pojmovnik

Izvlačenje sistemskog upita (System Prompt Extraction)

Što je Izvlačenje sistemskog upita (System Prompt Extraction)?

Izvlačenje sistemskog upita označava pokušaje da se chatbot ili UI agent natjera da otkrije svoje skrivene sistemske upute. Ako takav pokušaj uspije, rezultat se naziva curenje upita (prompt leaking): izvlačenje je napad, a curenje posljedica. Učinkovita zaštita počinje time da se lozinke, ključevi i povjerljiva pravila drže izvan uputa te da se pretpostavi da mogu postati javni; provjere unosa i redovito testiranje dodatne su mjere zaštite.

Kako KI.ordo pomaže

Predložak KI.ordo „Sigurnosna revizija chatbota“ provjerava upute agenta u pogledu rizika poput otkrivanja sistemskih uputa i nudi bezopasna pitanja za samotestiranje.

Saznajte više : Izvlačenje sistemskog upita (System Prompt Extraction)

Odgovarajući predlošci

Teme

  • Sigurnost
  • Curenje upita
  • Chatbots

Isprobajte KI.ordo

Agenti, tijekovi rada i predlošci u jednom radnom prostoru – besplatna demo verzija na 24 sata.

Pokrenite demo
← Svi pojmovi

Srodni pojmovi

Curenje upita

Curenje upita (prompt leaking) označava nenamjerno otkrivanje internih uputa UI sustava, primjerice kada chatbot na lukavo formuliran zahtjev otkrije svoj sistemski upit. To postaje problem ako te upute sadrže poslovnu logiku, interne informacije ili čak vjerodajnice. Popis OWASP za LLM aplikacije izričito navodi taj rizik. Najučinkovitija zaštita je pisati upute kao da bi mogle postati javne, u njih nikada ne pohranjivati tajne i provjeravati i izlazne rezultate.

  • Sigurnost UI-ja
  • sistemski upit
  • +1
Predložak

Jailbreaking

Jailbreaking označava pokušaje zaobilaženja sigurnosnih pravila UI modela vješto formuliranim unosima kako bi proizveo sadržaj ili poduzeo radnje koje bi trebao odbiti. Za organizacije je to rizik, jer bi chatbot mogao, primjerice, otkriti povjerljive upute ili neprimjereno odgovoriti. Zaštitne mjere uključuju jasne sistemske upute, provjeru unosa i izlaza, ograničene ovlasti, bilježenje i redovita sigurnosna testiranja (red teaming).

  • Sigurnost
  • Sprječavanje zlouporabe
  • +1
Predložak

Sigurnosna revizija chatbota

Sigurnosna revizija chatbota strukturirani je pregled toga štiti li UI chatbot na odgovarajući način povjerljive podatke, svoje interne upute i svoje ovlasti za djelovanje. Među ostalim ispituje podložnost umetanju upita (prompt injection), nenamjerno otkrivanje informacija i preširok pristup alatima – često prema OWASP Top 10 za LLM aplikacije. Rezultat je izvješće s ocjenom za svako područje rizika i konkretnim mjerama.

  • sigurnost
  • revizija
  • +1
Predložak

OWASP LLM Top 10

OWASP Top 10 za LLM aplikacije popis je najvažnijih sigurnosnih rizika u aplikacijama izgrađenima na velikim jezičnim modelima, koji objavljuje projekt OWASP GenAI Security Project. Aktualno izdanje za 2026. izašlo je u kolovozu 2026. (stanje: listopad 2026.) i obuhvaća: prompt injection, otkrivanje osjetljivih informacija, pretjeranu autonomiju, opskrbni lanac, trovanje podataka i modela, neograničenu potrošnju, dezinformacije, otkrivanje skrivenog konteksta, slabosti vektora i umetanja te neispravnu obradu izlaznih podataka. Služi kao kontrolni popis za razvoj i revizije.

  • sigurnost
  • standard
  • +1
Predložak