Pretinieciskā mašīnmācīšanās pēta, kā MI modeļus var maldināt ar apzināti manipulētām ievadēm vai apmācības datiem – un kā tos aizsargāt. Labi zināmi piemēri ir tik tikko pamanāmas attēla izmaiņas, kas maina klasifikāciju, vai saindēti apmācības dati. Šī tēma organizācijām kļūst svarīga, tiklīdz MI atbalsta ar drošību saistītus lēmumus. Pretpasākumi ietver noturīgu apmācību, ievades pārbaudes, uzraudzību un regulāru drošības testēšanu.
Modeļa robustums raksturo, cik uzticami MI modelis darbojas, ja ievaddati ir trokšņaini, nepilnīgi, neparasti vai tīši manipulēti. Robusts modelis joprojām sniedz stabilus rezultātus, piemēram, attēlu atpazīšanā sliktā apgaismojumā vai valodas modelim apstrādājot drukas kļūdas. Robustumu novērtē ar slodzes testiem, daudzveidīgiem apmācības datiem un testiem pret tīšiem maldināšanas mēģinājumiem, un tas ir īpaši svarīgs drošībai kritiskās lietojumprogrammās.
MI sarkanā komanda (red teaming) ir strukturēta MI sistēmas pārbaude no potenciālu uzbrucēju vai ļaunprātīgas izmantošanas skatpunkta. Speciālisti kontrolēti pārbauda, vai tērzēšanas robots atklāj konfidenciālus norādījumus, vai to var pamudināt uz nevēlamu uzvedību, vai tas sniedz nepatiesus faktus vai atklāj datus. Konstatējumi palīdz uzlabot norādījumus, filtrus un atļaujas. Tērzēšanas robota drošības audits ir vieglāka forma: tas novērtē konfigurāciju un sarunu piemērus pret zināmām riska jomām, piemēram, OWASP Top 10 LLM lietojumprogrammām.
LLM drošība aptver visus pasākumus, kas aizsargā uz lielajiem valodas modeļiem balstītas lietojumprogrammas pret ļaunprātīgu izmantošanu, datu noplūdi un nevēlamu uzvedību. Tipiski riski ir uzvedņu injekcija, konfidenciālu norādījumu vai datu izpaušana un aģenti ar pārmērīgām atļaujām. Aizsardzību nodrošina vairāki slāņi: skaidri norādījumi, ierobežotas tiesības, ievaddatu un izvaddatu pārbaudes, MI ugunsmūri, red teaming un regulāri auditi.
Apmācības dati ir piemēri, no kuriem MI modelis apgūst likumsakarības: lielas teksta kolekcijas valodas modeļiem, marķēti attēli attēlu modeļiem. To kvalitāte, daudzveidība un aktualitāte lielā mērā nosaka, cik uzticams un taisnīgs ir modelis un cik aktuālas ir tā zināšanas. Organizācijām ir svarīgi arī tas, vai pakalpojumu sniedzējs ievadītos klientu datus izmanto tālākai apmācībai.
