Точността top-k измерва колко често правилният отговор е сред k-те най-вероятни предложения на модела. При top-1 се брои само първата прогноза; при top-5 е достатъчно правилният клас да е сред петте най-добри – известна метрика от бенчмаркове за разпознаване на изображения като ImageNet. Тя е полезна навсякъде, където потребителите виждат няколко предложения, например препоръки за продукти или автоматично довършване.
Агенти, потоци и шаблони в едно работно пространство – безплатна 24-часова демонстрация.
Стартирайте демотоМатрицата на неточностите (confusion matrix) е таблица, която сравнява прогнозите на класификатор с действителните класове. При два класа тя показва истинно положителните, фалшиво положителните, истинно отрицателните и фалшиво отрицателните случаи. От нея могат да се изчисляват метрики като прецизност, обхват и F1 стойност и става ясно какви грешки се допускат. Пример: спам филтър, който отбелязва много истински имейли като спам, има много фалшиво положителни случаи, което често е по-скъпо от пропуснато спам съобщение.
Средната средна прецизност (mean average precision, mAP) е метрика, която оценява доколко добре една система намира релевантни резултати и ги подрежда близо до върха. Средната прецизност се изчислява по списъка с резултати за всяка заявка или клас обекти; mAP е средната стойност за всички тях. Тя е стандартна мярка за търсачки, системи за препоръки и откриване на обекти в изображения, където зависи и от изискваното припокриване на ограничителните рамки.
F-мярката е метрика за оценка на класификационни модели. Често използваната F1 стойност е хармоничната средна на прецизността (колко от предвидените попадения са верни) и обхвата (колко от действителните попадения са намерени) и е в диапазона от 0 до 1. Особено полезна е при небалансирани данни: спам филтър, който почти никога не отбелязва спам, може да има висока точност, но ниска F1 стойност.
Класификаторът е модел или метод, който отнася входните данни към една от няколко предварително определени категории. Класическите варианти като дърветата на решенията или наивния Байес се обучават върху анотирани примери; езиковите модели могат да сортират текстове и въз основа на описание на категориите. Типични приложения са откриването на спам, сортирането на запитвания на клиенти по теми и категоризирането на разписки. Качеството се измерва с метрики като точност, прецизност и обхват.
