Sanasto

ROUGE-pistemäärä

Mikä on ROUGE-pistemäärä?

ROUGE (Recall-Oriented Understudy for Gisting Evaluation) on mittariperhe, jolla automaattisesti tuotettuja tekstejä – erityisesti tiivistelmiä – verrataan ihmisten kirjoittamiin vertailutekstehin. Se mittaa, kuinka monta sanaa tai sanajonoa on päällekkäisiä, esimerkiksi yksittäisiä sanoja ROUGE-1:ssä tai pisintä yhteistä osajonoa ROUGE-L:ssä. Pistemäärä lasketaan nopeasti, mutta se ei luotettavasti tavoita samaa tarkoittavia parafraaseja eikä asiasisällön paikkansapitävyyttä.

Aiheet

mittari
tiivistäminen
arviointi

Kokeile KI.ordoa

Agentit, työnkulut ja mallit yhdessä työtilassa – maksuton 24 tunnin demo.

Aloita demo

← Kaikki termit

Liittyvät termit

BLEU-pistemäärä

BLEU-pistemäärä (Bilingual Evaluation Understudy) on IBM:llä vuonna 2002 kehitetty mittari konekäännösten automaattiseen arviointiin. Se mittaa, kuinka moni käännöksen sanajono esiintyy myös yhdessä tai useammassa ihmisen tekemässä vertailukäännöksessä, ja antaa arvon väliltä 0–1 (usein esitettynä asteikolla 0–100). BLEU on nopea ja vertailukelpoinen, mutta se ei tavoita hyvin merkitystä eikä tyyliä – hyvät uudelleenmuotoilut voivat saada heikon tuloksen.

Evaluation
Kääntäminen
+1

Tekstin tiivistäminen

Automaattisessa tekstin tiivistämisessä tekoäly tiivistää pitkät tekstit pääkohtiinsa. Poimivat menetelmät kopioivat tärkeät lauseet sanasta sanaan, kun taas uudelleenkirjoittavat menetelmät muotoilevat sisällön uudelleen; suuret kielimallit toimivat pääasiassa uudelleenkirjoittaen. Tämä on hyödyllistä pöytäkirjoissa, raporteissa tai pitkissä sähköpostiketjuissa; tärkeissä päätöksissä tiivistelmä tulee tarkistaa alkuperäistä vasten.

NLP
Tiivistäminen
+1

Malli

Benchmarking

Tekoälyssä benchmarking tarkoittaa mallien tai järjestelmien järjestelmällistä vertailua määriteltyjen tehtävien ja kriteerien avulla. Julkiset vertailutestit mittaavat esimerkiksi yleistietoa, päättelykykyä tai ohjelmointitaitoa; käytännön käytössä tärkeimpiä ovat kuitenkin oman arkityön testitapaukset. Tyypillisiä kriteerejä ovat tarkkuus, kattavuus, vasteaika ja kustannukset. Tämä auttaa päättämään, riittääkö pienempi ja edullisempi malli tehtävään.

Mallivertailu
Evaluation
+1

Malli

Luonnollisen kielen tuottaminen (NLG)

Luonnollisen kielen tuottaminen (NLG, natural language generation) on kielenkäsittelyn osa-alue, joka tuottaa ymmärrettävää tekstiä datasta, luettelokohdista tai muista syötteistä. Aiemmat NLG-järjestelmät perustuivat malleihin ja sääntöihin; nykyään useimmat käyttävät suuria kielimalleja. Tyypillisiä käyttökohteita ovat sää- ja pörssiraportit, tuotekuvaukset, tunnuslukujen tiivistelmät ja chatbottien vastaukset. On tärkeää, että syötteiden luvut ja tosiasiat siirtyvät oikein ja muuttumattomina.

kielenkäsittely
tekstin tuottaminen
+1

Malli