F-мярката е метрика за оценка на класификационни модели. Често използваната F1 стойност е хармоничната средна на прецизността (колко от предвидените попадения са верни) и обхвата (колко от действителните попадения са намерени) и е в диапазона от 0 до 1. Особено полезна е при небалансирани данни: спам филтър, който почти никога не отбелязва спам, може да има висока точност, но ниска F1 стойност.
Агенти, потоци и шаблони в едно работно пространство – безплатна 24-часова демонстрация.
Стартирайте демотоПълнотата (recall, наричана още чувствителност или дял на истинско положителните) измерва какъв дял от действителните положителни случаи открива моделът: правилно разпознатите положителни, разделени на всички реални положителни. Ако филтър за измами улавя 80 от 100 реални случая на измама, пълнотата му е 0,8. Високата пълнота е важна, когато пропуснатите случаи са скъпоструващи, например при медицинска диагностика. Тъй като пренебрегва фалшивите тревоги, обикновено се разглежда заедно с прецизността, например във F-мярката.
Матрицата на неточностите (confusion matrix) е таблица, която сравнява прогнозите на класификатор с действителните класове. При два класа тя показва истинно положителните, фалшиво положителните, истинно отрицателните и фалшиво отрицателните случаи. От нея могат да се изчисляват метрики като прецизност, обхват и F1 стойност и става ясно какви грешки се допускат. Пример: спам филтър, който отбелязва много истински имейли като спам, има много фалшиво положителни случаи, което често е по-скъпо от пропуснато спам съобщение.
Площта под кривата (AUC) е метрика за класификационни модели, която обикновено се отнася до ROC кривата. Тя показва колко добре моделът разделя положителните от отрицателните случаи, независимо от конкретен праг. Стойност 1 означава перфектно разделяне; 0,5 не е по-добре от налучкване. Пример: модел за отпадане на клиенти с AUC 0,85 класира случайно избран клиент, който си тръгва, като по-рисков от лоялен в 85% от случаите.
Точността top-k измерва колко често правилният отговор е сред k-те най-вероятни предложения на модела. При top-1 се брои само първата прогноза; при top-5 е достатъчно правилният клас да е сред петте най-добри – известна метрика от бенчмаркове за разпознаване на изображения като ImageNet. Тя е полезна навсякъде, където потребителите виждат няколко предложения, например препоръки за продукти или автоматично довършване.
