ROUGE (Recall-Oriented Understudy for Gisting Evaluation) to rodzina metryk służących do porównywania automatycznie generowanych tekstów – zwłaszcza streszczeń – z tekstami wzorcowymi napisanymi przez ludzi. Mierzy, ile słów lub ciągów słów się pokrywa, na przykład pojedyncze słowa w ROUGE-1 albo najdłuższy wspólny podciąg w ROUGE-L. Wynik jest szybki do obliczenia, ale nie oddaje wiarygodnie parafraz o tym samym znaczeniu ani poprawności merytorycznej.
Agenci, przepływy i szablony w jednym obszarze roboczym – bezpłatne demo na 24 godziny.
Uruchom demoWskaźnik BLEU (Bilingual Evaluation Understudy) to metryka opracowana w IBM w 2002 roku do automatycznej oceny tłumaczeń maszynowych. Mierzy, ile sekwencji słów z tłumaczenia występuje również w jednym lub kilku tłumaczeniach referencyjnych wykonanych przez ludzi, i podaje wartość od 0 do 1 (często przedstawianą w skali 0–100). BLEU jest szybki i porównywalny, ale słabo oddaje znaczenie i styl – dobre parafrazy mogą uzyskać niski wynik.
W automatycznym streszczaniu tekstu AI skraca długie teksty do ich najważniejszych punktów. Metody ekstrakcyjne kopiują ważne zdania dosłownie, a metody abstrakcyjne przeformułowują treść; duże modele językowe działają głównie abstrakcyjnie. Przydaje się to przy protokołach, raportach lub długich wątkach e-mailowych; w przypadku ważnych decyzji streszczenie należy zweryfikować z oryginałem.
W AI benchmarking oznacza systematyczne porównywanie modeli lub systemów na podstawie zdefiniowanych zadań i kryteriów. Publiczne benchmarki mierzą m.in. wiedzę ogólną, umiejętność rozumowania czy programowania; w praktyce najważniejsze są jednak przypadki testowe z własnej codziennej pracy. Typowe kryteria to poprawność, kompletność, czas odpowiedzi i koszt. Pomaga to zdecydować, czy mniejszy, tańszy model wystarczy do danego zadania.
Generowanie języka naturalnego (NLG) to obszar przetwarzania języka, który tworzy zrozumiały tekst na podstawie danych, haseł lub innych danych wejściowych. Wcześniejsze systemy NLG opierały się na szablonach i regułach; dziś większość korzysta z dużych modeli językowych. Typowe zastosowania to raporty pogodowe i giełdowe, opisy produktów, podsumowania wskaźników i odpowiedzi chatbotów. Ważne jest, aby liczby i fakty z danych wejściowych były przenoszone poprawnie i bez zmian.
