Vastanduv masinõpe uurib, kuidas TI-mudeleid saab tahtlikult manipuleeritud sisendite või treeningandmetega eksitada – ja kuidas neid kaitsta. Tuntud näited on vaevu nähtavad pildimuudatused, mis muudavad liigitust, või mürgitatud treeningandmed. Teema on organisatsioonidele oluline niipea, kui TI toetab turvalisuse seisukohalt olulisi otsuseid. Vastumeetmete hulka kuuluvad töökindel treenimine, sisendite kontroll, jälgimine ja regulaarne turvatestimine.
Mudeli töökindlus kirjeldab, kui usaldusväärselt TI-mudel toimib, kui sisendid on mürarikkad, mittetäielikud, ebatavalised või tahtlikult manipuleeritud. Töökindel mudel annab ikkagi stabiilseid tulemusi, näiteks piltide tuvastamisel halvas valguses või keelemudelil kirjavigade korral. Töökindlust hinnatakse stressitestide, mitmekesiste treeningandmete ja tahtlike eksitamiskatsete vastu tehtud testidega ning see on eriti oluline turvakriitilistes rakendustes.
TI punane meeskond (red teaming) on TI-süsteemi struktureeritud uurimine võimalike ründajate või väärkasutuse vaatenurgast. Spetsialistid testivad kontrollitud viisil, kas vestlusrobot paljastab konfidentsiaalseid juhiseid, kas seda saab suunata soovimatule käitumisele, kas see annab valefakte või paljastab andmeid. Leiud aitavad parandada juhiseid, filtreid ja õigusi. Vestlusroboti turvaaudit on kergem vorm: see hindab seadistust ja näidisvestlusi teadaolevate riskivaldkondade, nagu OWASP Top 10 for LLM Applications, alusel.
LLM-i turvalisus hõlmab kõiki meetmeid, mis kaitsevad suurtel keelemudelitel põhinevaid rakendusi väärkasutuse, andmelekke ja soovimatu käitumise eest. Tüüpilised riskid on prompt injection, konfidentsiaalsete juhiste või andmete avaldamine ning liiga laiade õigustega agendid. Kaitse tuleneb mitmest kihist: selged juhised, piiratud õigused, sisendite ja väljundite kontroll, TI tulemüürid, red teaming ja regulaarsed auditid.
Treeningandmed on näited, millest TI-mudel mustreid õpib: suured tekstikogud keelemudelite jaoks, märgendatud pildid pildimudelite jaoks. Nende kvaliteet, mitmekesisus ja värskus määravad suuresti, kui usaldusväärne ja õiglane mudel on ning kui ajakohased on selle teadmised. Organisatsioonide jaoks on oluline ka see, kas pakkuja kasutab nende sisestatud kliendiandmeid edasiseks treenimiseks.
