ROUGE (Recall-Oriented Understudy for Gisting Evaluation) е семейство метрики за сравняване на автоматично генерирани текстове – особено резюмета – с еталонни текстове, написани от хора. Тя измерва колко думи или поредици от думи се припокриват, например отделни думи в ROUGE-1 или най-дългата обща подпоследователност в ROUGE-L. Оценката се изчислява бързо, но не отчита надеждно перифрази със същия смисъл, нито фактическата точност.
Агенти, потоци и шаблони в едно работно пространство – безплатна 24-часова демонстрация.
Стартирайте демотоBLEU оценката (Bilingual Evaluation Understudy) е показател, разработен в IBM през 2002 г. за автоматично оценяване на машинни преводи. Тя измерва колко поредици от думи в даден превод се срещат и в един или повече човешки референтни превода и дава стойност между 0 и 1 (често показвана като 0–100). BLEU е бърза и съпоставима, но не обхваща добре нито смисъла, нито стила – добрите перифрази могат да получат ниска оценка.
При автоматичното резюмиране на текст ИИ свежда дългите текстове до най-важното. Екстрактивните методи копират дословно важни изречения, докато абстрактивните методи преформулират съдържанието; големите езикови модели работят главно абстрактивно. Това е полезно за протоколи, отчети или дълги имейл разговори; при важни решения резюмето трябва да се сверява с оригинала.
В областта на ИИ бенчмаркингът означава систематично сравняване на модели или системи с помощта на определени задачи и критерии. Публичните бенчмаркове измерват например общи знания, способност за разсъждение или програмиране; за практическото използване обаче най-важни са тестовите случаи от собствената ежедневна работа. Типични критерии са точност, пълнота, време за отговор и разходи. Това помага да се реши дали по-малък и по-евтин модел е достатъчно добър за дадена задача.
Генерирането на естествен език (NLG) е областта на езиковата обработка, която създава разбираем текст от данни, ключови точки или други входни данни. По-ранните NLG системи се основаваха на шаблони и правила; днес повечето използват големи езикови модели. Типични приложения са сводки за времето и фондовия пазар, описания на продукти, обобщения на ключови показатели и отговори на чатботове. Важно е числата и фактите от входните данни да бъдат пренесени вярно и непроменени.
