Modelldrift är den gradvisa försämringen av en modells prediktiva kvalitet under drift, eftersom verkligheten förändras jämfört med träningsdata. Man skiljer mellan förändringar i indata (datadrift) och förändringar i sambandet mellan indata och utfall (konceptdrift). Exempel: en modell för att upptäcka bedrägerier missar nya bedrägerimetoder. Åtgärder är löpande övervakning av mätvärden och regelbunden omträning.
Modellrobusthet beskriver hur tillförlitligt en AI-modell fungerar när indata är brusiga, ofullständiga, ovanliga eller avsiktligt manipulerade. En robust modell ger fortfarande stabila resultat, till exempel bildigenkänning i dålig belysning eller en språkmodell som hanterar stavfel. Robusthet bedöms med stresstester, varierad träningsdata och tester mot avsiktliga försök att lura modellen, och den är särskilt viktig i säkerhetskritiska tillämpningar.
Träningsdata är de exempel som en AI-modell lär sig mönster av: stora textsamlingar för språkmodeller, märkta bilder för bildmodeller. Deras kvalitet, mångfald och aktualitet avgör till stor del hur tillförlitlig och rättvis en modell är och hur aktuell dess kunskap blir. För organisationer spelar det också roll om en leverantör använder de kunddata som de matar in för vidare träning.
MLflow är en plattform med öppen källkod för att hantera hela livscykeln för maskininlärningsmodeller, ursprungligen introducerad av Databricks 2018. Den registrerar experiment med deras parametrar och mätvärden, hanterar modellversioner i ett register och förenklar driftsättning. Nyare versioner stöder även spårning och utvärdering av applikationer som bygger på språkmodeller. Team kan därmed följa vilken modell som skapats med vilka data och inställningar.
Noggrannhet beskriver hur ofta en AI-modell ger korrekta resultat; stabilitet beskriver hur tillförlitligt den prestandan håller i sig – vid något ändrade indata, nya data eller över tid. En modell kan vara mycket noggrann i tester men instabil om det räcker att omformulera en fråga för att få ett annat svar. För praktisk användning kontrolleras båda egenskaperna med fasta testfall, korsvalidering och löpande övervakning.
