A BLEU-pontszám (Bilingual Evaluation Understudy) az IBM-nél 2002-ben kifejlesztett mérőszám a gépi fordítások automatikus értékelésére. Azt méri, hogy egy fordítás szósorozatai közül mennyi szerepel egy vagy több emberi referenciafordításban is, és 0 és 1 közötti értéket ad (gyakran 0–100 skálán megjelenítve). A BLEU gyors és összehasonlítható, de sem a jelentést, sem a stílust nem ragadja meg jól – a jó átfogalmazások is gyenge pontszámot kaphatnak.
Ügynökök, munkafolyamatok és sablonok egyetlen munkaterületen – ingyenes, 24 órás demó.
Demó indításaA ROUGE (Recall-Oriented Understudy for Gisting Evaluation) olyan mérőszámok családja, amelyekkel automatikusan generált szövegeket – különösen összefoglalókat – hasonlítanak össze emberek által írt referenciaszövegekkel. Azt méri, hány szó vagy szósorozat egyezik meg, például egyes szavak a ROUGE-1-ben, vagy a leghosszabb közös részsorozat a ROUGE-L-ben. A pontszám gyorsan kiszámítható, de az azonos jelentésű átfogalmazásokat és a tényszerű pontosságot nem megbízhatóan ragadja meg.
Az MI területén a benchmarking modellek vagy rendszerek szisztematikus összehasonlítását jelenti meghatározott feladatok és szempontok alapján. A nyilvános benchmarkok például az általános tudást, a következtetési képességet vagy a programozási tudást mérik; a gyakorlati használat szempontjából azonban a saját mindennapi munkából vett tesztesetek a legfontosabbak. Jellemző szempont a pontosság, a teljesség, a válaszidő és a költség. Ez segít eldönteni, hogy egy kisebb, olcsóbb modell elég jó-e egy feladathoz.
Az F-érték az osztályozási modellek értékelésére szolgáló mérőszám. Az elterjedt F1-érték a pontosság (az előre jelzett találatok hányada helyes) és a fedés (a tényleges találatok hányadát sikerült megtalálni) harmonikus közepe, értéke 0 és 1 között mozog. Különösen hasznos kiegyensúlyozatlan adatoknál: az a spamszűrő, amely szinte soha nem jelöl meg spamet, magas helyességet, de alacsony F1-értéket érhet el.
A természetesnyelv-feldolgozás az MI azon ága, amely lehetővé teszi, hogy a számítógépek elemezzék, megértsék és előállítsák az emberi nyelvet szövegben vagy beszédben. Olyan feladatokat fed le, mint a fordítás, az osztályozás, az összefoglalás, a hangulatelemzés és a kérdés-felelet. Egykor a szabályok és a statisztikai módszerek uralták; ma a területet a nagy nyelvi modellek alakítják.
