HR
PrijavaZapočnite odmah
Pojmovnik

Sigurnosna revizija chatbota

Što je Sigurnosna revizija chatbota?

Sigurnosna revizija chatbota strukturirani je pregled toga štiti li UI chatbot na odgovarajući način povjerljive podatke, svoje interne upute i svoje ovlasti za djelovanje. Među ostalim ispituje podložnost umetanju upita (prompt injection), nenamjerno otkrivanje informacija i preširok pristup alatima – često prema OWASP Top 10 za LLM aplikacije. Rezultat je izvješće s ocjenom za svako područje rizika i konkretnim mjerama.

Kako KI.ordo pomaže

KI.ordo nudi predložak koji iz uputa i primjera razgovora agenta izrađuje nacrt izvješća o reviziji s mjerama i bezopasnim pitanjima za samotestiranje.

Saznajte više : Sigurnosna revizija chatbota

Odgovarajući predlošci

Teme

  • sigurnost
  • revizija
  • OWASP

Isprobajte KI.ordo

Agenti, tijekovi rada i predlošci u jednom radnom prostoru – besplatna demo verzija na 24 sata.

Pokrenite demo
← Svi pojmovi

Srodni pojmovi

OWASP LLM Top 10

OWASP Top 10 za LLM aplikacije popis je najvažnijih sigurnosnih rizika u aplikacijama izgrađenima na velikim jezičnim modelima, koji objavljuje projekt OWASP GenAI Security Project. Aktualno izdanje za 2026. izašlo je u kolovozu 2026. (stanje: listopad 2026.) i obuhvaća: prompt injection, otkrivanje osjetljivih informacija, pretjeranu autonomiju, opskrbni lanac, trovanje podataka i modela, neograničenu potrošnju, dezinformacije, otkrivanje skrivenog konteksta, slabosti vektora i umetanja te neispravnu obradu izlaznih podataka. Služi kao kontrolni popis za razvoj i revizije.

  • sigurnost
  • standard
  • +1
Predložak

UI red teaming

UI red teaming strukturirano je ispitivanje UI sustava iz perspektive potencijalnih napadača ili zlouporabe. Stručnjaci kontrolirano testiraju otkriva li chatbot povjerljive upute, može li ga se navesti na neželjeno ponašanje, daje li netočne činjenice ili otkriva podatke. Nalazi služe za poboljšanje uputa, filtara i ovlasti. Sigurnosna revizija chatbota lakši je oblik: procjenjuje konfiguraciju i primjere razgovora prema poznatim područjima rizika kao što je OWASP Top 10 za LLM aplikacije.

  • Sigurnost UI-ja
  • Sigurnosno testiranje
  • +1
Predložak

Sigurnost LLM-a

Sigurnost LLM-a obuhvaća sve mjere koje aplikacije izgrađene na velikim jezičnim modelima štite od zlouporabe, curenja podataka i neželjenog ponašanja. Tipični rizici uključuju prompt injection, otkrivanje povjerljivih uputa ili podataka te agente s prevelikim ovlastima. Zaštita dolazi iz više slojeva: jasnih uputa, ograničenih prava, provjera unosa i izlaza, UI vatrozida, red teaminga i redovitih revizija.

  • sigurnost
  • jezični modeli
  • +1
Predložak

Curenje upita

Curenje upita (prompt leaking) označava nenamjerno otkrivanje internih uputa UI sustava, primjerice kada chatbot na lukavo formuliran zahtjev otkrije svoj sistemski upit. To postaje problem ako te upute sadrže poslovnu logiku, interne informacije ili čak vjerodajnice. Popis OWASP za LLM aplikacije izričito navodi taj rizik. Najučinkovitija zaštita je pisati upute kao da bi mogle postati javne, u njih nikada ne pohranjivati tajne i provjeravati i izlazne rezultate.

  • Sigurnost UI-ja
  • sistemski upit
  • +1
Predložak