Token

Τι είναι Token;

Η μονάδα με την οποία τα γλωσσικά μοντέλα μετρούν το κείμενο. Ένα token αντιστοιχεί περίπου σε τμήμα λέξης· σε αυτό βασίζεται το κόστος της ΤΝ.