Γλωσσάριο

Βαθμολογία ROUGE

Τι είναι Βαθμολογία ROUGE;

Το ROUGE (Recall-Oriented Understudy for Gisting Evaluation) είναι μια οικογένεια μετρικών για τη σύγκριση αυτόματα παραγόμενων κειμένων – ιδίως περιλήψεων – με κείμενα αναφοράς που έχουν γραφτεί από ανθρώπους. Μετρά πόσες λέξεις ή ακολουθίες λέξεων επικαλύπτονται, για παράδειγμα μεμονωμένες λέξεις στο ROUGE-1 ή η μακρύτερη κοινή υποακολουθία στο ROUGE-L. Η βαθμολογία υπολογίζεται γρήγορα, αλλά δεν αποτυπώνει αξιόπιστα παραφράσεις με το ίδιο νόημα ούτε την πραγματολογική ακρίβεια.

Θέματα

μετρική
σύνοψη
αξιολόγηση

Δοκιμάστε το KI.ordo

Πράκτορες, ροές εργασιών και πρότυπα σε έναν χώρο εργασίας – δωρεάν επίδειξη 24 ωρών.

Έναρξη επίδειξης

← Όλοι οι όροι

Σχετικοί όροι

Βαθμολογία BLEU

Η βαθμολογία BLEU (Bilingual Evaluation Understudy) είναι ένας δείκτης που αναπτύχθηκε στην IBM το 2002 για την αυτόματη αξιολόγηση μηχανικών μεταφράσεων. Μετρά πόσες ακολουθίες λέξεων σε μια μετάφραση εμφανίζονται επίσης σε μία ή περισσότερες ανθρώπινες μεταφράσεις αναφοράς και δίνει μια τιμή μεταξύ 0 και 1 (συχνά ως 0–100). Η BLEU είναι γρήγορη και συγκρίσιμη, αλλά δεν αποτυπώνει καλά ούτε το νόημα ούτε το ύφος – καλές παραφράσεις μπορεί να βαθμολογηθούν χαμηλά.

Evaluation
Μετάφραση
+1

Σύνοψη κειμένου

Στην αυτόματη σύνοψη κειμένου, η ΤΝ συμπυκνώνει μεγάλα κείμενα στα βασικά τους σημεία. Οι εξαγωγικές μέθοδοι αντιγράφουν σημαντικές προτάσεις αυτολεξεί, ενώ οι αφαιρετικές μέθοδοι αναδιατυπώνουν το περιεχόμενο· τα μεγάλα γλωσσικά μοντέλα λειτουργούν κυρίως αφαιρετικά. Αυτό είναι χρήσιμο για πρακτικά, αναφορές ή μακριές αλυσίδες email· για σημαντικές αποφάσεις η σύνοψη πρέπει να ελέγχεται με βάση το πρωτότυπο.

NLP
Σύνοψη
+1

Πρότυπο

Benchmarking

Στην ΤΝ, benchmarking σημαίνει συστηματική σύγκριση μοντέλων ή συστημάτων με βάση καθορισμένες εργασίες και κριτήρια. Τα δημόσια benchmark μετρούν, για παράδειγμα, γενικές γνώσεις, συλλογιστική ή ικανότητα προγραμματισμού· για την πρακτική χρήση, ωστόσο, μετρούν περισσότερο οι δοκιμαστικές περιπτώσεις από τη δική σας καθημερινή εργασία. Τυπικά κριτήρια είναι η ακρίβεια, η πληρότητα, ο χρόνος απόκρισης και το κόστος. Αυτό βοηθά να αποφασίσετε αν ένα μικρότερο, φθηνότερο μοντέλο είναι αρκετά καλό για μια εργασία.

Σύγκριση μοντέλων
Evaluation
+1

Πρότυπο

Παραγωγή φυσικής γλώσσας (NLG)

Η παραγωγή φυσικής γλώσσας (NLG) είναι ο τομέας της επεξεργασίας γλώσσας που παράγει κατανοητό κείμενο από δεδομένα, κουκκίδες ή άλλες εισόδους. Τα παλαιότερα συστήματα NLG στηρίζονταν σε πρότυπα και κανόνες· σήμερα τα περισσότερα χρησιμοποιούν μεγάλα γλωσσικά μοντέλα. Τυπικές χρήσεις είναι οι ειδήσεις για τον καιρό και το χρηματιστήριο, οι περιγραφές προϊόντων, οι περιλήψεις βασικών μεγεθών και οι απαντήσεις chatbot. Είναι σημαντικό τα μεγέθη και τα γεγονότα των εισόδων να μεταφέρονται σωστά και αναλλοίωτα.

επεξεργασία γλώσσας
παραγωγή κειμένου
+1

Πρότυπο