BLEU balas (Bilingual Evaluation Understudy) – 2002 m. IBM sukurtas rodiklis mašininiams vertimams automatiškai vertinti. Jis matuoja, kiek vertimo žodžių sekų yra ir viename ar keliuose žmogaus atliktuose etaloniniuose vertimuose, ir pateikia reikšmę nuo 0 iki 1 (dažnai rodomą kaip 0–100). BLEU yra greitas ir palyginamas, tačiau prastai atspindi prasmę ir stilių – geros perfrazės gali gauti žemą balą.
Agentai, srautai ir šablonai vienoje darbo srityje – nemokama 24 valandų demonstracinė versija.
Pradėti demonstracijąROUGE (Recall-Oriented Understudy for Gisting Evaluation) – metrikų šeima, skirta automatiškai sugeneruotiems tekstams, ypač santraukoms, palyginti su žmonių parašytais etaloniniais tekstais. Ji matuoja, kiek sutampa žodžių ar žodžių sekų, pavyzdžiui, pavienių žodžių ROUGE-1 arba ilgiausios bendros posekio ROUGE-L. Rodiklis skaičiuojamas greitai, tačiau jis nepatikimai atspindi tos pačios prasmės perfrazavimus ar faktinį tikslumą.
DI srityje lyginamasis testavimas (benchmarking) reiškia sistemingą modelių ar sistemų palyginimą naudojant apibrėžtas užduotis ir kriterijus. Vieši lyginamieji testai matuoja, pavyzdžiui, bendrąsias žinias, samprotavimą ar programavimo gebėjimus; tačiau praktiniam naudojimui svarbiausi yra testiniai atvejai iš jūsų kasdienio darbo. Įprasti kriterijai – tikslumas, išsamumas, atsakymo laikas ir kaina. Tai padeda nuspręsti, ar mažesnio, pigesnio modelio užduočiai pakanka.
F balas yra klasifikavimo modeliams vertinti skirtas rodiklis. Įprastas F1 balas – tai tikslumo (kiek prognozuotų pataikymų yra teisingi) ir pilnumo (kiek tikrų pataikymų rasta) harmoninis vidurkis, kintantis nuo 0 iki 1. Jis ypač naudingas nesubalansuotų duomenų atveju: šlamšto filtras, kuris beveik niekada nežymi šlamšto, gali turėti aukštą tikslumą (accuracy), bet žemą F1 balą.
Natūralios kalbos apdorojimas – DI šaka, leidžianti kompiuteriams analizuoti, suprasti ir generuoti žmonių kalbą tekstu ar žodžiu. Jis apima tokias užduotis kaip vertimas, klasifikavimas, apibendrinimas, nuotaikų analizė ir atsakymai į klausimus. Kadaise dominavo taisyklės ir statistiniai metodai; šiandien sritį formuoja dideli kalbos modeliai.
