ROUGE (Recall-Oriented Understudy for Gisting Evaluation) hija familja ta' metriċi biex jitqabblu testi ġġenerati awtomatikament – speċjalment sommarji – ma' testi ta' referenza miktubin min-nies. Ikejjel kemm kliem jew sekwenzi ta' kliem jikkoinċidu, per eżempju kliem individwali f'ROUGE-1 jew is-sottosekwenza komuni l-itwal f'ROUGE-L. Il-punteġġ huwa mgħaġġel biex jiġi kkalkulat, iżda ma jaqbadx b'mod affidabbli l-parafrażijiet bl-istess tifsira jew l-eżattezza fattwali.
Aġenti, flussi tax-xogħol u mudelli fi spazju tax-xogħol wieħed – demo b'xejn għal 24 siegħa.
Ibda d-demoIl-punteġġ BLEU (Bilingual Evaluation Understudy) huwa metrika żviluppata fl-IBM fl-2002 biex jiġu evalwati awtomatikament it-traduzzjonijiet awtomatiċi. Ikejjel kemm sekwenzi ta' kliem f'traduzzjoni jidhru wkoll f'traduzzjoni waħda jew aktar ta' referenza magħmula minn bniedem u jagħti valur bejn 0 u 1 (ta' spiss muri bħala 0–100). BLEU huwa mgħaġġel u komparabbli iżda la jaqbad tajjeb it-tifsira u lanqas l-istil – parafrażijiet tajbin jistgħu jieħdu punteġġ baxx.
Fis-sommarju awtomatiku tat-test, l-IA tikkondensa testi twal għall-punti ewlenin tagħhom. Metodi ekstrattivi jikkupjaw sentenzi importanti kelma b'kelma, filwaqt li metodi astrattivi jerġgħu jifformulaw il-kontenut; il-mudelli lingwistiċi kbar jaħdmu l-aktar b'mod astrattiv. Dan huwa utli għal minuti, rapporti jew ktajjen twal ta' emails; għal deċiżjonijiet importanti s-sommarju għandu jiġi vverifikat kontra l-oriġinal.
Fl-IA, il-benchmarking ifisser il-paragun sistematiku ta' mudelli jew sistemi bl-użu ta' kompiti u kriterji definiti. Il-benchmarks pubbliċi jkejlu affarijiet bħall-għarfien ġenerali, ir-raġunament jew il-ħila fil-kodifikazzjoni; għall-użu prattiku, madankollu, l-aktar li jgħoddu huma każijiet tat-test mix-xogħol tiegħek ta' kuljum. Kriterji tipiċi huma l-preċiżjoni, il-kompletezza, il-ħin tar-rispons u l-ispiża. Dan jgħin biex jiġi deċiż jekk mudell iżgħar u irħas huwiex tajjeb biżżejjed għal kompitu.
Il-ġenerazzjoni tal-lingwa naturali (NLG) hija l-qasam tal-ipproċessar tal-lingwa li jipproduċi test li jinftiehem minn data, punti qosra jew inputs oħra. Is-sistemi NLG tal-passat kienu jiddependu fuq mudelli u regoli; illum il-biċċa l-kbira jużaw mudelli lingwistiċi kbar. L-użi tipiċi jinkludu rapporti dwar it-temp u s-suq tal-ishma, deskrizzjonijiet ta' prodotti, sommarji ta' ċifri ewlenin u tweġibiet ta' chatbots. Huwa importanti li ċ-ċifri u l-fatti mill-inputs jinġarru b'mod korrett u mhux mibdul.
