ROUGE (Recall-Oriented Understudy for Gisting Evaluation) – metrikų šeima, skirta automatiškai sugeneruotiems tekstams, ypač santraukoms, palyginti su žmonių parašytais etaloniniais tekstais. Ji matuoja, kiek sutampa žodžių ar žodžių sekų, pavyzdžiui, pavienių žodžių ROUGE-1 arba ilgiausios bendros posekio ROUGE-L. Rodiklis skaičiuojamas greitai, tačiau jis nepatikimai atspindi tos pačios prasmės perfrazavimus ar faktinį tikslumą.
Agentai, srautai ir šablonai vienoje darbo srityje – nemokama 24 valandų demonstracinė versija.
Pradėti demonstracijąBLEU balas (Bilingual Evaluation Understudy) – 2002 m. IBM sukurtas rodiklis mašininiams vertimams automatiškai vertinti. Jis matuoja, kiek vertimo žodžių sekų yra ir viename ar keliuose žmogaus atliktuose etaloniniuose vertimuose, ir pateikia reikšmę nuo 0 iki 1 (dažnai rodomą kaip 0–100). BLEU yra greitas ir palyginamas, tačiau prastai atspindi prasmę ir stilių – geros perfrazės gali gauti žemą balą.
Automatiniame tekstų apibendrinime DI sutraukia ilgus tekstus iki pagrindinių punktų. Ekstrakciniai metodai žodis žodin nukopijuoja svarbius sakinius, o abstrakciniai turinį performuluoja; dideli kalbos modeliai dirba daugiausia abstrakčiai. Tai naudinga protokolams, ataskaitoms ar ilgoms el. laiškų gijoms; svarbiems sprendimams santrauką reikėtų patikrinti pagal originalą.
DI srityje lyginamasis testavimas (benchmarking) reiškia sistemingą modelių ar sistemų palyginimą naudojant apibrėžtas užduotis ir kriterijus. Vieši lyginamieji testai matuoja, pavyzdžiui, bendrąsias žinias, samprotavimą ar programavimo gebėjimus; tačiau praktiniam naudojimui svarbiausi yra testiniai atvejai iš jūsų kasdienio darbo. Įprasti kriterijai – tikslumas, išsamumas, atsakymo laikas ir kaina. Tai padeda nuspręsti, ar mažesnio, pigesnio modelio užduočiai pakanka.
Natūralios kalbos generavimas (NLG) – kalbos apdorojimo sritis, kurioje iš duomenų, trumpų punktų ar kitos įvesties sukuriamas suprantamas tekstas. Ankstesnės NLG sistemos rėmėsi šablonais ir taisyklėmis; šiandien dauguma naudoja didelius kalbos modelius. Tipiniai taikymai: orų ir biržos ataskaitos, produktų aprašymai, rodiklių santraukos ir pokalbių roboto atsakymai. Svarbu, kad skaičiai ir faktai iš įvesties būtų perimti teisingai ir nepakeisti.
