Noggrannhet beskriver hur ofta en AI-modell ger korrekta resultat; stabilitet beskriver hur tillförlitligt den prestandan håller i sig – vid något ändrade indata, nya data eller över tid. En modell kan vara mycket noggrann i tester men instabil om det räcker att omformulera en fråga för att få ett annat svar. För praktisk användning kontrolleras båda egenskaperna med fasta testfall, korsvalidering och löpande övervakning.
Modellrobusthet beskriver hur tillförlitligt en AI-modell fungerar när indata är brusiga, ofullständiga, ovanliga eller avsiktligt manipulerade. En robust modell ger fortfarande stabila resultat, till exempel bildigenkänning i dålig belysning eller en språkmodell som hanterar stavfel. Robusthet bedöms med stresstester, varierad träningsdata och tester mot avsiktliga försök att lura modellen, och den är särskilt viktig i säkerhetskritiska tillämpningar.
Modelldrift är den gradvisa försämringen av en modells prediktiva kvalitet under drift, eftersom verkligheten förändras jämfört med träningsdata. Man skiljer mellan förändringar i indata (datadrift) och förändringar i sambandet mellan indata och utfall (konceptdrift). Exempel: en modell för att upptäcka bedrägerier missar nya bedrägerimetoder. Åtgärder är löpande övervakning av mätvärden och regelbunden omträning.
Korsvalidering är en metod för att kontrollera hur väl en modell generaliserar till nya, osedda data. Vid k-faldig korsvalidering delas data upp i k delar; modellen tränas k gånger på k−1 delar och testas varje gång på den återstående delen, varefter resultaten medelvärdesbildas. Det hjälper till att upptäcka överanpassning och att jämföra modeller eller inställningar rättvist, särskilt när det finns lite data.
Inom AI innebär benchmarking att systematiskt jämföra modeller eller system med hjälp av definierade uppgifter och kriterier. Offentliga benchmarks mäter till exempel allmänkunskap, resonemangsförmåga eller programmeringsförmåga; för praktisk användning är dock testfall från den egna vardagen viktigast. Typiska kriterier är korrekthet, fullständighet, svarstid och kostnad. Det hjälper till att avgöra om en mindre, billigare modell räcker för en uppgift.
