Nasprotniško strojno učenje (adversarial machine learning) proučuje, kako je mogoče modele UI zavesti z namerno manipuliranimi vnosi ali učnimi podatki – in kako jih zaščititi. Znana primera sta komaj vidni spremembi slike, ki obrneta razvrstitev, ali zastrupljeni učni podatki. Tema je za organizacije pomembna, ko UI podpira varnostno pomembne odločitve. Protiukrepi vključujejo robustno učenje, preverjanje vnosov, spremljanje in redno varnostno testiranje.
Agenti, poteki dela in predloge v enem delovnem prostoru – brezplačna 24-urna predstavitev.
Začni predstavitevRobustnost modela opisuje, kako zanesljivo model UI deluje, kadar so vhodni podatki šumni, nepopolni, nenavadni ali namerno izmaličeni. Robusten model še vedno daje stabilne rezultate, na primer pri prepoznavanju slik v slabi svetlobi ali kadar jezikovni model obravnava tipkarske napake. Robustnost ocenjujemo s stresnimi testi, raznolikimi podatki za učenje in preizkusi proti namernim poskusom zavajanja; posebej je pomembna pri aplikacijah, kritičnih za varnost.
Red teaming za UI je strukturiran pregled sistema UI z vidika morebitnih napadalcev ali zlorabe. Strokovnjaki nadzorovano preizkušajo, ali klepetalni robot razkrije zaupna navodila, ali ga je mogoče zavesti v neželeno vedenje, ali navaja napačna dejstva ali izpostavi podatke. Ugotovitve se upoštevajo pri boljših navodilih, filtrih in dovoljenjih. Varnostna revizija klepetalnega robota je lažja oblika: konfiguracijo in vzorčne pogovore oceni glede na znana področja tveganj, kot je OWASP Top 10 za aplikacije LLM.
Varnost LLM zajema vse ukrepe, ki aplikacije na osnovi velikih jezikovnih modelov ščitijo pred zlorabo, uhajanjem podatkov in neželenim vedenjem. Tipična tveganja so vstavljanje ukazov, razkritje zaupnih navodil ali podatkov in agenti s prekomernimi pooblastili. Zaščita izhaja iz več plasti: jasnih navodil, omejenih pravic, preverjanja vnosov in izpisov, požarnih zidov UI, red teaminga in rednih pregledov.
Podatki za učenje so primeri, iz katerih se model UI uči vzorcev: velike zbirke besedil za jezikovne modele, označene slike za slikovne modele. Njihova kakovost, raznolikost in aktualnost v veliki meri določajo, kako zanesljiv in pošten je model ter kako sodobno je njegovo znanje. Za organizacije je pomembno tudi, ali ponudnik vnesene podatke strank uporablja za nadaljnje učenje.
