ROC кривата (receiver operating characteristic) показва колко добре един класификационен модел разделя два класа. За всеки възможен праг на решение тя нанася дела на истинско положителните (recall) спрямо дела на фалшиво положителните. Колкото по-близо стига кривата до горния ляв ъгъл, толкова по-добре; диагоналът съответства на чисто налучкване. Площта под нея (AUC) обобщава кривата в едно число и помага например при сравняване на различни модели за откриване на измами.
Агенти, потоци и шаблони в едно работно пространство – безплатна 24-часова демонстрация.
Стартирайте демотоПлощта под кривата (AUC) е метрика за класификационни модели, която обикновено се отнася до ROC кривата. Тя показва колко добре моделът разделя положителните от отрицателните случаи, независимо от конкретен праг. Стойност 1 означава перфектно разделяне; 0,5 не е по-добре от налучкване. Пример: модел за отпадане на клиенти с AUC 0,85 класира случайно избран клиент, който си тръгва, като по-рисков от лоялен в 85% от случаите.
Пълнотата (recall, наричана още чувствителност или дял на истинско положителните) измерва какъв дял от действителните положителни случаи открива моделът: правилно разпознатите положителни, разделени на всички реални положителни. Ако филтър за измами улавя 80 от 100 реални случая на измама, пълнотата му е 0,8. Високата пълнота е важна, когато пропуснатите случаи са скъпоструващи, например при медицинска диагностика. Тъй като пренебрегва фалшивите тревоги, обикновено се разглежда заедно с прецизността, например във F-мярката.
Матрицата на неточностите (confusion matrix) е таблица, която сравнява прогнозите на класификатор с действителните класове. При два класа тя показва истинно положителните, фалшиво положителните, истинно отрицателните и фалшиво отрицателните случаи. От нея могат да се изчисляват метрики като прецизност, обхват и F1 стойност и става ясно какви грешки се допускат. Пример: спам филтър, който отбелязва много истински имейли като спам, има много фалшиво положителни случаи, което често е по-скъпо от пропуснато спам съобщение.
Класификаторът е модел или метод, който отнася входните данни към една от няколко предварително определени категории. Класическите варианти като дърветата на решенията или наивния Байес се обучават върху анотирани примери; езиковите модели могат да сортират текстове и въз основа на описание на категориите. Типични приложения са откриването на спам, сортирането на запитвания на клиенти по теми и категоризирането на разписки. Качеството се измерва с метрики като точност, прецизност и обхват.
