Площта под кривата (AUC) е метрика за класификационни модели, която обикновено се отнася до ROC кривата. Тя показва колко добре моделът разделя положителните от отрицателните случаи, независимо от конкретен праг. Стойност 1 означава перфектно разделяне; 0,5 не е по-добре от налучкване. Пример: модел за отпадане на клиенти с AUC 0,85 класира случайно избран клиент, който си тръгва, като по-рисков от лоялен в 85% от случаите.
Агенти, потоци и шаблони в едно работно пространство – безплатна 24-часова демонстрация.
Стартирайте демотоROC кривата (receiver operating characteristic) показва колко добре един класификационен модел разделя два класа. За всеки възможен праг на решение тя нанася дела на истинско положителните (recall) спрямо дела на фалшиво положителните. Колкото по-близо стига кривата до горния ляв ъгъл, толкова по-добре; диагоналът съответства на чисто налучкване. Площта под нея (AUC) обобщава кривата в едно число и помага например при сравняване на различни модели за откриване на измами.
F-мярката е метрика за оценка на класификационни модели. Често използваната F1 стойност е хармоничната средна на прецизността (колко от предвидените попадения са верни) и обхвата (колко от действителните попадения са намерени) и е в диапазона от 0 до 1. Особено полезна е при небалансирани данни: спам филтър, който почти никога не отбелязва спам, може да има висока точност, но ниска F1 стойност.
Матрицата на неточностите (confusion matrix) е таблица, която сравнява прогнозите на класификатор с действителните класове. При два класа тя показва истинно положителните, фалшиво положителните, истинно отрицателните и фалшиво отрицателните случаи. От нея могат да се изчисляват метрики като прецизност, обхват и F1 стойност и става ясно какви грешки се допускат. Пример: спам филтър, който отбелязва много истински имейли като спам, има много фалшиво положителни случаи, което често е по-скъпо от пропуснато спам съобщение.
Логаритмичната загуба (log loss) измерва доколко добре прогнозираните вероятности на класификационен модел съответстват на действителните резултати. Уверените, но грешни прогнози се наказват особено силно; стойност, близка до нула, показва добре калибрирани прогнози. Пример: ако моделът даде 95% вероятност за отпадане на клиент, който остава, логаритмичната загуба рязко нараства. Математически тя е същата като бинарната кръстосана ентропия.
