Adversarial maskininlärning studerar hur AI-modeller kan vilseledas med avsiktligt manipulerade indata eller träningsdata – och hur de kan skyddas. Välkända exempel är knappt synliga bildändringar som ändrar en klassificering, eller förgiftade träningsdata. Ämnet blir viktigt för organisationer så snart AI stöder säkerhetsrelevanta beslut. Motåtgärder är bland annat robust träning, kontroll av indata, övervakning och regelbundna säkerhetstester.
Modellrobusthet beskriver hur tillförlitligt en AI-modell fungerar när indata är brusiga, ofullständiga, ovanliga eller avsiktligt manipulerade. En robust modell ger fortfarande stabila resultat, till exempel bildigenkänning i dålig belysning eller en språkmodell som hanterar stavfel. Robusthet bedöms med stresstester, varierad träningsdata och tester mot avsiktliga försök att lura modellen, och den är särskilt viktig i säkerhetskritiska tillämpningar.
AI-red teaming är en strukturerad granskning av ett AI-system ur potentiella angripares eller missbrukares perspektiv. Specialister testar under kontrollerade former om en chattbot röjer konfidentiella instruktioner, kan förmås till oönskat beteende, levererar felaktiga fakta eller exponerar data. Resultaten används för att förbättra instruktioner, filter och behörigheter. En säkerhetsgranskning av en chattbot är en lättare variant: den bedömer konfiguration och exempelsamtal mot kända riskområden som OWASP Top 10 för LLM-applikationer.
LLM-säkerhet omfattar alla åtgärder som skyddar applikationer byggda på stora språkmodeller mot missbruk, dataläckage och oönskat beteende. Typiska risker är promptinjektion, avslöjande av konfidentiella instruktioner eller data och agenter med alltför omfattande behörigheter. Skyddet kommer från flera lager: tydliga instruktioner, begränsade rättigheter, kontroller av indata och utdata, AI-brandväggar, red teaming och regelbundna granskningar.
Träningsdata är de exempel som en AI-modell lär sig mönster av: stora textsamlingar för språkmodeller, märkta bilder för bildmodeller. Deras kvalitet, mångfald och aktualitet avgör till stor del hur tillförlitlig och rättvis en modell är och hur aktuell dess kunskap blir. För organisationer spelar det också roll om en leverantör använder de kunddata som de matar in för vidare träning.
