Mean absolute error (MAE) viser, hvor langt en models forudsigelser i gennemsnit afviger fra de faktiske værdier, uanset retning. Den udtrykkes i målvariablens enhed, hvilket gør den let at forstå. Eksempel: en MAE på 12 for en daglig salgsprognose betyder, at modellen i gennemsnit er 12 enheder ved siden af. Den vægter outliers mindre end kvadrerede fejlmål.
Lineær regression er en statistisk metode, der beskriver sammenhængen mellem en målvariabel og en eller flere prædiktorer ved hjælp af en ret linje eller et plan. Koefficienterne vælges som regel, så summen af de kvadrerede afvigelser bliver mindst mulig. Metoden er let at forstå og fortolke: Den kan f.eks. estimere, hvor meget omsætningen stiger, når reklamebudgettet øges med 1.000 €. Den når sine grænser ved ikke-lineære sammenhænge.
Generaliseringsfejlen måler, hvor meget en AI-model rammer ved siden af på nye, tidligere usete data – i modsætning til dens fejl på træningsdataene. Et stort gab mellem de to peger på overfitting: Modellen har lært eksempler udenad i stedet for at lære generelle mønstre. Den estimeres med tilbageholdte testdata eller krydsvalidering. Det er det tal, der virkelig tæller, fordi en model i praksis næsten kun møder nye tilfælde.
Krydsvalidering er en metode til at kontrollere, hvor godt en model generaliserer til nye, usete data. Ved k-fold-krydsvalidering deles data i k dele; modellen trænes k gange på k−1 dele og testes hver gang på den resterende del, hvorefter resultaterne gennemsnitsberegnes. Det hjælper med at opdage overfitting og sammenligne modeller eller indstillinger fair, især når der er få data.
Predictive modelling er den tekniske kerne i predictive analytics: eksempeldata med kendte udfald bruges til at bygge en model, der forudsiger en værdi eller klasse for nye tilfælde. Almindelige metoder er regression, beslutningstræer, random forests og neurale netværk. En model kan f.eks. vurdere en ejendomspris ud fra boligareal, beliggenhed og byggeår. Før den tages i brug, testes den på tilbageholdte data for at opdage overfitting.
