Loģistiskā regresija ir statistikas metode, kas prognozē vienu no diviem iznākumiem, piemēram, „pērk” vai „nepērk”, varbūtību. Tā sver ievades pazīmes un to summu pārvērš vērtībā starp 0 un 1 ar S veida funkciju. Tā kā svarus ir viegli interpretēt, tā plaši tiek izmantota kredītvērtēšanā, medicīnā un mārketingā, bieži kā stabils pamats sarežģītākiem modeļiem.
Lineārā regresija ir statistikas metode, kas ar taisni vai plakni apraksta sakarību starp mērķa mainīgo un vienu vai vairākiem prognozētājiem. Koeficientus parasti izvēlas tā, lai minimizētu kvadrātisko noviržu summu. Metode ir viegli saprotama un interpretējama: piemēram, tā var novērtēt, par cik pieaug ieņēmumi, kad reklāmas budžets palielinās par 1000 €. Ar nelineārām sakarībām tā sasniedz savas robežas.
Klasifikators ir modelis vai metode, kas ievaddatus piešķir vienai no vairākām iepriekš noteiktām kategorijām. Klasiskus variantus, piemēram, lēmumu kokus vai naivo Beijesa metodi, apmāca uz marķētiem piemēriem; valodas modeļi tekstus var šķirot arī pēc kategoriju apraksta. Tipiski lietojumi ir surogātpasta atpazīšana, klientu pieprasījumu šķirošana pēc tēmas un kvīšu kategorizēšana. Kvalitāti mēra ar metrikām, piemēram, pareizību, precizitāti un pārklājumu.
Logaritmiskais zudums (log loss) mēra, cik labi klasifikācijas modeļa prognozētās varbūtības atbilst faktiskajiem iznākumiem. Pārliecinātas, bet nepareizas prognozes tiek sodītas īpaši stipri; vērtība tuvu nullei norāda uz labi kalibrētām prognozēm. Piemērs: ja modelis dod 95 % klienta aiziešanas varbūtību klientam, kurš paliek, logaritmiskais zudums strauji pieaug. Matemātiski tas ir tas pats, kas binārā krustentropija.
Naivais Beijesa klasifikators ir vienkāršu klasifikācijas metožu saime, kuras pamatā ir Beijesa teorēma. Tās sauc par „naivām”, jo tās pieņem, ka visas pazīmes ir savstarpēji neatkarīgas, kas praksē reti ir patiesība, bet bieži tomēr dod labus rezultātus. Šīs metodes ir ātras, tām vajag maz apmācības datu, un tās ir īpaši piemērotas tekstam. Klasisks piemērs ir surogātpasta filtrs, kas šķiro e-pastus pēc tipiskiem vārdiem.
