BLEU оценката (Bilingual Evaluation Understudy) е показател, разработен в IBM през 2002 г. за автоматично оценяване на машинни преводи. Тя измерва колко поредици от думи в даден превод се срещат и в един или повече човешки референтни превода и дава стойност между 0 и 1 (често показвана като 0–100). BLEU е бърза и съпоставима, но не обхваща добре нито смисъла, нито стила – добрите перифрази могат да получат ниска оценка.
Агенти, потоци и шаблони в едно работно пространство – безплатна 24-часова демонстрация.
Стартирайте демотоROUGE (Recall-Oriented Understudy for Gisting Evaluation) е семейство метрики за сравняване на автоматично генерирани текстове – особено резюмета – с еталонни текстове, написани от хора. Тя измерва колко думи или поредици от думи се припокриват, например отделни думи в ROUGE-1 или най-дългата обща подпоследователност в ROUGE-L. Оценката се изчислява бързо, но не отчита надеждно перифрази със същия смисъл, нито фактическата точност.
В областта на ИИ бенчмаркингът означава систематично сравняване на модели или системи с помощта на определени задачи и критерии. Публичните бенчмаркове измерват например общи знания, способност за разсъждение или програмиране; за практическото използване обаче най-важни са тестовите случаи от собствената ежедневна работа. Типични критерии са точност, пълнота, време за отговор и разходи. Това помага да се реши дали по-малък и по-евтин модел е достатъчно добър за дадена задача.
F-мярката е метрика за оценка на класификационни модели. Често използваната F1 стойност е хармоничната средна на прецизността (колко от предвидените попадения са верни) и обхвата (колко от действителните попадения са намерени) и е в диапазона от 0 до 1. Особено полезна е при небалансирани данни: спам филтър, който почти никога не отбелязва спам, може да има висока точност, но ниска F1 стойност.
Обработката на естествен език е дялът на ИИ, който дава възможност на компютрите да анализират, разбират и генерират човешки език в текст или реч. Тя обхваща задачи като превод, класификация, резюмиране, анализ на настроението и отговаряне на въпроси. Някога доминираха правилата и статистическите методи; днес областта се оформя от големите езикови модели.
