Modellrobusthet beskriver hur tillförlitligt en AI-modell fungerar när indata är brusiga, ofullständiga, ovanliga eller avsiktligt manipulerade. En robust modell ger fortfarande stabila resultat, till exempel bildigenkänning i dålig belysning eller en språkmodell som hanterar stavfel. Robusthet bedöms med stresstester, varierad träningsdata och tester mot avsiktliga försök att lura modellen, och den är särskilt viktig i säkerhetskritiska tillämpningar.
Adversarial maskininlärning studerar hur AI-modeller kan vilseledas med avsiktligt manipulerade indata eller träningsdata – och hur de kan skyddas. Välkända exempel är knappt synliga bildändringar som ändrar en klassificering, eller förgiftade träningsdata. Ämnet blir viktigt för organisationer så snart AI stöder säkerhetsrelevanta beslut. Motåtgärder är bland annat robust träning, kontroll av indata, övervakning och regelbundna säkerhetstester.
Modelldrift är den gradvisa försämringen av en modells prediktiva kvalitet under drift, eftersom verkligheten förändras jämfört med träningsdata. Man skiljer mellan förändringar i indata (datadrift) och förändringar i sambandet mellan indata och utfall (konceptdrift). Exempel: en modell för att upptäcka bedrägerier missar nya bedrägerimetoder. Åtgärder är löpande övervakning av mätvärden och regelbunden omträning.
Generaliseringsfelet mäter hur mycket en AI-modell missar på nya, tidigare osedda data – i motsats till felet på träningsdatan. Ett stort gap mellan de två tyder på överanpassning: modellen har memorerat exempel i stället för att lära sig allmänna mönster. Det uppskattas med hjälp av undanhållna testdata eller korsvalidering. Det är det värde som verkligen räknas, eftersom en modell i praktiken nästan bara möter nya fall.
Överanpassning (overfitting) uppstår när en modell memorerar träningsdata, inklusive slumpmässiga egenheter och brus, i stället för att fånga allmängiltiga mönster. Den ser då mycket exakt ut på bekanta data men presterar dåligt på nya. Ett stort gap mellan träningsfel och testfel är ett typiskt tecken. Motåtgärder är fler eller mer varierade data, enklare modeller, regularisering, dropout och korsvalidering.
