MI kiberdrošībā ir divas puses. No vienas puses, MI paņēmieni palīdz ātrāk atklāt uzbrukumus, piemēram, pamanot anomālijas tīkla datplūsmā, aizdomīgas pieteikšanās vai pikšķerēšanas e-pastus, un atslogo drošības komandas brīdinājumu šķirošanā. No otras puses, pašas MI sistēmas ir jāaizsargā, piemēram, pret uzvedņu injekciju vai datu noplūdi. MI šeit ir efektīvs tikai kopā ar skaidriem procesiem, atjauninātām sistēmām un apmācītiem cilvēkiem.
Anomāliju noteikšana atrod datu punktus, notikumus vai modeļus, kas būtiski atšķiras no normas. Tie var būt neparasti lieli darījumi, pēkšņi lēcieni sensoru rādījumos, dublēti ieraksti vai aizdomīgas darbības tīklā. To izmanto finansēs, IT drošībā, ražošanā un kvalitātes kontrolē. Metodes ir no vienkāršiem statistiskiem sliekšņiem līdz mācīšanās modeļiem; atradumi ir norādes, kuras jāizvērtē cilvēkam.
LLM drošība aptver visus pasākumus, kas aizsargā uz lielajiem valodas modeļiem balstītas lietojumprogrammas pret ļaunprātīgu izmantošanu, datu noplūdi un nevēlamu uzvedību. Tipiski riski ir uzvedņu injekcija, konfidenciālu norādījumu vai datu izpaušana un aģenti ar pārmērīgām atļaujām. Aizsardzību nodrošina vairāki slāņi: skaidri norādījumi, ierobežotas tiesības, ievaddatu un izvaddatu pārbaudes, MI ugunsmūri, red teaming un regulāri auditi.
MI penetrācijas tests ir pasūtīts, kontrolēts drošības novērtējums, kurā speciālisti apzināti meklē MI sistēmas vājās vietas, piemēram, uzvedņu injekciju, konfidenciālu datu noplūdi vai aģentu ar pārmērīgām atļaujām. Atšķirībā no plašākas red teaming prakses tas koncentrējas uz skaidri definētu apjomu ar dokumentētiem konstatējumiem un risinājumiem. To vērts veikt pirms tērzēšanas robota palaišanas un pēc lielām izmaiņām.
MI sarkanā komanda (red teaming) ir strukturēta MI sistēmas pārbaude no potenciālu uzbrucēju vai ļaunprātīgas izmantošanas skatpunkta. Speciālisti kontrolēti pārbauda, vai tērzēšanas robots atklāj konfidenciālus norādījumus, vai to var pamudināt uz nevēlamu uzvedību, vai tas sniedz nepatiesus faktus vai atklāj datus. Konstatējumi palīdz uzlabot norādījumus, filtrus un atļaujas. Tērzēšanas robota drošības audits ir vieglāka forma: tas novērtē konfigurāciju un sarunu piemērus pret zināmām riska jomām, piemēram, OWASP Top 10 LLM lietojumprogrammām.
