Modeldrift er den gradvise forringelse af en models forudsigelseskvalitet under drift, fordi virkeligheden ændrer sig i forhold til træningsdataene. Man skelner mellem ændringer i inputdataene (data drift) og ændringer i sammenhængen mellem input og resultater (concept drift). Eksempel: en model til opdagelse af svindel overser nye svindelmetoder. Afhjælpning sker ved løbende overvågning af målinger og regelmæssig gentræning.
Modelrobusthed beskriver, hvor pålideligt en AI-model fungerer, når input er støjende, ufuldstændige, usædvanlige eller bevidst manipulerede. En robust model leverer stadig stabile resultater, f.eks. billedgenkendelse i dårligt lys eller en sprogmodel, der håndterer tastefejl. Robusthed vurderes med stresstests, varierede træningsdata og test mod bevidste forsøg på at snyde modellen, og den er særligt vigtig i sikkerhedskritiske anvendelser.
Træningsdata er de eksempler, som en AI-model lærer mønstre af: store tekstsamlinger til sprogmodeller, mærkede billeder til billedmodeller. Deres kvalitet, mangfoldighed og aktualitet er i høj grad afgørende for, hvor pålidelig og fair en model er, og hvor opdateret dens viden bliver. For organisationer er det også vigtigt, om en udbyder bruger de kundedata, der indtastes, til yderligere træning.
MLflow er en open source-platform til styring af hele livscyklussen for machine learning-modeller, oprindeligt introduceret af Databricks i 2018. Den registrerer eksperimenter med deres parametre og målinger, administrerer modelversioner i et register og forenkler udrulning. Nyere versioner understøtter også tracing og evaluering af applikationer bygget på sprogmodeller. Teams kan dermed spore, hvilken model der er skabt med hvilke data og indstillinger.
Nøjagtighed beskriver, hvor ofte en AI-model giver korrekte resultater; stabilitet beskriver, hvor pålideligt denne ydeevne holder – ved let ændrede input, nye data eller over tid. En model kan være meget nøjagtig i test og alligevel ustabil, hvis blot en omformulering af et spørgsmål giver et andet svar. Ved brug i praksis kontrolleres begge egenskaber med faste testcases, krydsvalidering og løbende overvågning.
