BLEU-pistemäärä (Bilingual Evaluation Understudy) on IBM:llä vuonna 2002 kehitetty mittari konekäännösten automaattiseen arviointiin. Se mittaa, kuinka moni käännöksen sanajono esiintyy myös yhdessä tai useammassa ihmisen tekemässä vertailukäännöksessä, ja antaa arvon väliltä 0–1 (usein esitettynä asteikolla 0–100). BLEU on nopea ja vertailukelpoinen, mutta se ei tavoita hyvin merkitystä eikä tyyliä – hyvät uudelleenmuotoilut voivat saada heikon tuloksen.
Agentit, työnkulut ja mallit yhdessä työtilassa – maksuton 24 tunnin demo.
Aloita demoROUGE (Recall-Oriented Understudy for Gisting Evaluation) on mittariperhe, jolla automaattisesti tuotettuja tekstejä – erityisesti tiivistelmiä – verrataan ihmisten kirjoittamiin vertailutekstehin. Se mittaa, kuinka monta sanaa tai sanajonoa on päällekkäisiä, esimerkiksi yksittäisiä sanoja ROUGE-1:ssä tai pisintä yhteistä osajonoa ROUGE-L:ssä. Pistemäärä lasketaan nopeasti, mutta se ei luotettavasti tavoita samaa tarkoittavia parafraaseja eikä asiasisällön paikkansapitävyyttä.
Tekoälyssä benchmarking tarkoittaa mallien tai järjestelmien järjestelmällistä vertailua määriteltyjen tehtävien ja kriteerien avulla. Julkiset vertailutestit mittaavat esimerkiksi yleistietoa, päättelykykyä tai ohjelmointitaitoa; käytännön käytössä tärkeimpiä ovat kuitenkin oman arkityön testitapaukset. Tyypillisiä kriteerejä ovat tarkkuus, kattavuus, vasteaika ja kustannukset. Tämä auttaa päättämään, riittääkö pienempi ja edullisempi malli tehtävään.
F-pistemäärä on luokittelumallien arviointimittari. Yleinen F1-pistemäärä on tarkkuuden (kuinka moni ennustetuista osumista on oikein) ja saantiasteen (kuinka moni todellisista osumista löytyi) harmoninen keskiarvo, ja sen arvo on 0–1. Se on erityisen hyödyllinen epätasapainoisen datan kanssa: roskapostisuodatin, joka ei lähes koskaan merkitse roskapostia, voi saavuttaa korkean osuvuuden mutta matalan F1-pistemäärän.
Luonnollisen kielen käsittely on tekoälyn osa-alue, joka mahdollistaa tietokoneiden analysoida, ymmärtää ja tuottaa ihmiskieltä tekstinä tai puheena. Se kattaa tehtäviä, kuten kääntäminen, luokittelu, tiivistäminen, sentimenttianalyysi ja kysymyksiin vastaaminen. Aiemmin vallitsivat sääntö- ja tilastomenetelmät; nykyään alaa muovaavat suuret kielimallit.
