Glosārijs

BLEU rādītājs

Kas ir BLEU rādītājs?

BLEU rādītājs (Bilingual Evaluation Understudy) ir 2002. gadā IBM izstrādāta metrika mašīntulkojumu automātiskai novērtēšanai. Tā mēra, cik daudz vārdu secību tulkojumā sastopamas arī vienā vai vairākos cilvēku veidotos atsauces tulkojumos, un sniedz vērtību no 0 līdz 1 (bieži attēlo kā 0–100). BLEU ir ātrs un salīdzināms, taču slikti aptver gan nozīmi, gan stilu – labas pārfrāzes var iegūt zemu vērtējumu.

Tēmas

  • Evaluation
  • Tulkošana
  • NLP metrika

Izmēģiniet KI.ordo

Aģenti, plūsmas un veidnes vienā darbvietā – bezmaksas 24 stundu demo.

Sākt demo
← Visi termini

Saistītie termini

ROUGE rādītājs

ROUGE (Recall-Oriented Understudy for Gisting Evaluation) ir metriku saime automātiski ģenerētu tekstu — īpaši kopsavilkumu — salīdzināšanai ar cilvēku rakstītiem references tekstiem. Tā mēra, cik daudz vārdu vai vārdu secību pārklājas, piemēram, atsevišķus vārdus ROUGE-1 vai garāko kopīgo apakšsecību ROUGE-L. Rādītāju var ātri aprēķināt, taču tas nenodrošina uzticamu pārfrāzējumu ar to pašu nozīmi vai faktiskās pareizības novērtējumu.

  • metrika
  • kopsavilkumu veidošana
  • +1

Benchmarking

MI jomā etalontestēšana (benchmarking) nozīmē sistemātisku modeļu vai sistēmu salīdzināšanu, izmantojot noteiktus uzdevumus un kritērijus. Publiski etalontesti mēra, piemēram, vispārējās zināšanas, spriešanas vai programmēšanas spējas; praktiskai izmantošanai tomēr vissvarīgākie ir testa gadījumi no jūsu pašu ikdienas darba. Tipiski kritēriji ir precizitāte, pilnīgums, atbildes laiks un izmaksas. Tas palīdz izlemt, vai mazāks, lētāks modelis konkrētam uzdevumam ir pietiekami labs.

  • Modeļu salīdzināšana
  • Evaluation
  • +1
Veidne

F rādītājs (F1 rādītājs)

F rādītājs ir klasifikācijas modeļu novērtēšanas metrika. Plaši lietotais F1 rādītājs ir precizitātes (cik daudz no prognozētajiem trāpījumiem ir pareizi) un pārklājuma (cik daudz no faktiskajiem trāpījumiem tika atrasti) harmoniskais vidējais, un tas svārstās no 0 līdz 1. Tas ir īpaši noderīgs ar nesabalansētiem datiem: surogātpasta filtram, kas gandrīz nekad neatzīmē surogātpastu, var būt augsta pareizība, bet zems F1 rādītājs.

  • Novērtēšanas metrika
  • Novērtējums
  • +1

Dabiskās valodas apstrāde (NLP)

Dabiskās valodas apstrāde ir MI nozare, kas ļauj datoriem analizēt, saprast un ģenerēt cilvēku valodu tekstā vai runā. Tā aptver uzdevumus, piemēram, tulkošanu, klasifikāciju, kopsavilkumu veidošanu, noskaņojuma analīzi un atbilžu sniegšanu uz jautājumiem. Kādreiz dominēja noteikumi un statistikas metodes; mūsdienās nozari veido lielie valodas modeļi.

  • NLP
  • Valoda
  • +1