Wskaźnik BLEU (Bilingual Evaluation Understudy) to metryka opracowana w IBM w 2002 roku do automatycznej oceny tłumaczeń maszynowych. Mierzy, ile sekwencji słów z tłumaczenia występuje również w jednym lub kilku tłumaczeniach referencyjnych wykonanych przez ludzi, i podaje wartość od 0 do 1 (często przedstawianą w skali 0–100). BLEU jest szybki i porównywalny, ale słabo oddaje znaczenie i styl – dobre parafrazy mogą uzyskać niski wynik.
Agenci, przepływy i szablony w jednym obszarze roboczym – bezpłatne demo na 24 godziny.
Uruchom demoROUGE (Recall-Oriented Understudy for Gisting Evaluation) to rodzina metryk służących do porównywania automatycznie generowanych tekstów – zwłaszcza streszczeń – z tekstami wzorcowymi napisanymi przez ludzi. Mierzy, ile słów lub ciągów słów się pokrywa, na przykład pojedyncze słowa w ROUGE-1 albo najdłuższy wspólny podciąg w ROUGE-L. Wynik jest szybki do obliczenia, ale nie oddaje wiarygodnie parafraz o tym samym znaczeniu ani poprawności merytorycznej.
W AI benchmarking oznacza systematyczne porównywanie modeli lub systemów na podstawie zdefiniowanych zadań i kryteriów. Publiczne benchmarki mierzą m.in. wiedzę ogólną, umiejętność rozumowania czy programowania; w praktyce najważniejsze są jednak przypadki testowe z własnej codziennej pracy. Typowe kryteria to poprawność, kompletność, czas odpowiedzi i koszt. Pomaga to zdecydować, czy mniejszy, tańszy model wystarczy do danego zadania.
Miara F to metryka do oceny modeli klasyfikacyjnych. Powszechna miara F1 jest średnią harmoniczną precyzji (ile spośród przewidzianych trafień jest poprawnych) i czułości (ile rzeczywistych trafień znaleziono) i przyjmuje wartości od 0 do 1. Jest szczególnie użyteczna przy danych niezrównoważonych: filtr spamu, który prawie nigdy nie oznacza spamu, może mieć wysoką dokładność, ale niską miarę F1.
Przetwarzanie języka naturalnego to dziedzina AI, która umożliwia komputerom analizowanie, rozumienie i generowanie ludzkiego języka w tekście lub mowie. Obejmuje zadania takie jak tłumaczenie, klasyfikacja, streszczanie, analiza sentymentu i odpowiadanie na pytania. Dawniej dominowały reguły i metody statystyczne; dziś dziedzinę kształtują duże modele językowe.
