Nøjagtighed beskriver, hvor ofte en AI-model giver korrekte resultater; stabilitet beskriver, hvor pålideligt denne ydeevne holder – ved let ændrede input, nye data eller over tid. En model kan være meget nøjagtig i test og alligevel ustabil, hvis blot en omformulering af et spørgsmål giver et andet svar. Ved brug i praksis kontrolleres begge egenskaber med faste testcases, krydsvalidering og løbende overvågning.
Modelrobusthed beskriver, hvor pålideligt en AI-model fungerer, når input er støjende, ufuldstændige, usædvanlige eller bevidst manipulerede. En robust model leverer stadig stabile resultater, f.eks. billedgenkendelse i dårligt lys eller en sprogmodel, der håndterer tastefejl. Robusthed vurderes med stresstests, varierede træningsdata og test mod bevidste forsøg på at snyde modellen, og den er særligt vigtig i sikkerhedskritiske anvendelser.
Modeldrift er den gradvise forringelse af en models forudsigelseskvalitet under drift, fordi virkeligheden ændrer sig i forhold til træningsdataene. Man skelner mellem ændringer i inputdataene (data drift) og ændringer i sammenhængen mellem input og resultater (concept drift). Eksempel: en model til opdagelse af svindel overser nye svindelmetoder. Afhjælpning sker ved løbende overvågning af målinger og regelmæssig gentræning.
Krydsvalidering er en metode til at kontrollere, hvor godt en model generaliserer til nye, usete data. Ved k-fold-krydsvalidering deles data i k dele; modellen trænes k gange på k−1 dele og testes hver gang på den resterende del, hvorefter resultaterne gennemsnitsberegnes. Det hjælper med at opdage overfitting og sammenligne modeller eller indstillinger fair, især når der er få data.
Inden for AI betyder benchmarking en systematisk sammenligning af modeller eller systemer ud fra definerede opgaver og kriterier. Offentlige benchmarks måler for eksempel almen viden, ræsonnement eller programmeringsevner; til praktisk brug er testcases fra din egen hverdag dog det vigtigste. Typiske kriterier er nøjagtighed, fuldstændighed, svartid og omkostninger. Det hjælper med at afgøre, om en mindre og billigere model er god nok til en opgave.
