Il-punteġġ BLEU (Bilingual Evaluation Understudy) huwa metrika żviluppata fl-IBM fl-2002 biex jiġu evalwati awtomatikament it-traduzzjonijiet awtomatiċi. Ikejjel kemm sekwenzi ta' kliem f'traduzzjoni jidhru wkoll f'traduzzjoni waħda jew aktar ta' referenza magħmula minn bniedem u jagħti valur bejn 0 u 1 (ta' spiss muri bħala 0–100). BLEU huwa mgħaġġel u komparabbli iżda la jaqbad tajjeb it-tifsira u lanqas l-istil – parafrażijiet tajbin jistgħu jieħdu punteġġ baxx.
Aġenti, flussi tax-xogħol u mudelli fi spazju tax-xogħol wieħed – demo b'xejn għal 24 siegħa.
Ibda d-demoROUGE (Recall-Oriented Understudy for Gisting Evaluation) hija familja ta' metriċi biex jitqabblu testi ġġenerati awtomatikament – speċjalment sommarji – ma' testi ta' referenza miktubin min-nies. Ikejjel kemm kliem jew sekwenzi ta' kliem jikkoinċidu, per eżempju kliem individwali f'ROUGE-1 jew is-sottosekwenza komuni l-itwal f'ROUGE-L. Il-punteġġ huwa mgħaġġel biex jiġi kkalkulat, iżda ma jaqbadx b'mod affidabbli l-parafrażijiet bl-istess tifsira jew l-eżattezza fattwali.
Fl-IA, il-benchmarking ifisser il-paragun sistematiku ta' mudelli jew sistemi bl-użu ta' kompiti u kriterji definiti. Il-benchmarks pubbliċi jkejlu affarijiet bħall-għarfien ġenerali, ir-raġunament jew il-ħila fil-kodifikazzjoni; għall-użu prattiku, madankollu, l-aktar li jgħoddu huma każijiet tat-test mix-xogħol tiegħek ta' kuljum. Kriterji tipiċi huma l-preċiżjoni, il-kompletezza, il-ħin tar-rispons u l-ispiża. Dan jgħin biex jiġi deċiż jekk mudell iżgħar u irħas huwiex tajjeb biżżejjed għal kompitu.
Il-punteġġ F huwa metrika għall-evalwazzjoni ta' mudelli ta' klassifikazzjoni. Il-punteġġ F1 komuni huwa l-medja armonika tal-preċiżjoni (kemm mill-hits imbassra huma korretti) u tar-recall (kemm mill-hits attwali nstabu), u jvarja minn 0 sa 1. Huwa utli speċjalment b'data żbilanċjata: filtru tal-ispam li kważi qatt ma jimmarka l-ispam jista' jkollu eżattezza għolja iżda punteġġ F1 baxx.
L-ipproċessar tal-lingwa naturali huwa l-fergħa tal-IA li tippermetti lill-kompjuters janalizzaw, jifhmu u jiġġeneraw lingwa umana fit-test jew fid-diskors. Ikopri kompiti bħat-traduzzjoni, il-klassifikazzjoni, is-sommarju, l-analiżi tas-sentiment u t-tweġiba għal mistoqsijiet. Darba kienu jiddominaw ir-regoli u l-metodi statistiċi; illum il-qasam huwa ffurmat mill-mudelli lingwistiċi kbar.
