Η βαθμολογία BLEU (Bilingual Evaluation Understudy) είναι ένας δείκτης που αναπτύχθηκε στην IBM το 2002 για την αυτόματη αξιολόγηση μηχανικών μεταφράσεων. Μετρά πόσες ακολουθίες λέξεων σε μια μετάφραση εμφανίζονται επίσης σε μία ή περισσότερες ανθρώπινες μεταφράσεις αναφοράς και δίνει μια τιμή μεταξύ 0 και 1 (συχνά ως 0–100). Η BLEU είναι γρήγορη και συγκρίσιμη, αλλά δεν αποτυπώνει καλά ούτε το νόημα ούτε το ύφος – καλές παραφράσεις μπορεί να βαθμολογηθούν χαμηλά.
Πράκτορες, ροές εργασιών και πρότυπα σε έναν χώρο εργασίας – δωρεάν επίδειξη 24 ωρών.
Έναρξη επίδειξηςΤο ROUGE (Recall-Oriented Understudy for Gisting Evaluation) είναι μια οικογένεια μετρικών για τη σύγκριση αυτόματα παραγόμενων κειμένων – ιδίως περιλήψεων – με κείμενα αναφοράς που έχουν γραφτεί από ανθρώπους. Μετρά πόσες λέξεις ή ακολουθίες λέξεων επικαλύπτονται, για παράδειγμα μεμονωμένες λέξεις στο ROUGE-1 ή η μακρύτερη κοινή υποακολουθία στο ROUGE-L. Η βαθμολογία υπολογίζεται γρήγορα, αλλά δεν αποτυπώνει αξιόπιστα παραφράσεις με το ίδιο νόημα ούτε την πραγματολογική ακρίβεια.
Στην ΤΝ, benchmarking σημαίνει συστηματική σύγκριση μοντέλων ή συστημάτων με βάση καθορισμένες εργασίες και κριτήρια. Τα δημόσια benchmark μετρούν, για παράδειγμα, γενικές γνώσεις, συλλογιστική ή ικανότητα προγραμματισμού· για την πρακτική χρήση, ωστόσο, μετρούν περισσότερο οι δοκιμαστικές περιπτώσεις από τη δική σας καθημερινή εργασία. Τυπικά κριτήρια είναι η ακρίβεια, η πληρότητα, ο χρόνος απόκρισης και το κόστος. Αυτό βοηθά να αποφασίσετε αν ένα μικρότερο, φθηνότερο μοντέλο είναι αρκετά καλό για μια εργασία.
Η βαθμολογία F (F-score) είναι μια μετρική για την αξιολόγηση μοντέλων ταξινόμησης. Η συνήθης βαθμολογία F1 είναι ο αρμονικός μέσος της ακρίβειας (precision – πόσα από τα προβλεπόμενα θετικά αποτελέσματα είναι σωστά) και της ανάκλησης (recall – πόσα από τα πραγματικά θετικά αποτελέσματα βρέθηκαν) και κυμαίνεται από 0 έως 1. Είναι ιδιαίτερα χρήσιμη με μη ισορροπημένα δεδομένα: ένα φίλτρο ανεπιθύμητης αλληλογραφίας που σχεδόν ποτέ δεν επισημαίνει spam μπορεί να έχει υψηλή ορθότητα αλλά χαμηλή βαθμολογία F1.
Η επεξεργασία φυσικής γλώσσας είναι ο κλάδος της ΤΝ που επιτρέπει στους υπολογιστές να αναλύουν, να κατανοούν και να παράγουν ανθρώπινη γλώσσα σε κείμενο ή ομιλία. Καλύπτει εργασίες όπως η μετάφραση, η ταξινόμηση, η σύνοψη, η ανάλυση συναισθήματος και η απάντηση ερωτήσεων. Κάποτε κυριαρχούσαν οι κανόνες και οι στατιστικές μέθοδοι· σήμερα ο τομέας διαμορφώνεται από μεγάλα γλωσσικά μοντέλα.
