Γλωσσάριο

BERT

Τι είναι BERT;

Το BERT (Bidirectional Encoder Representations from Transformers) είναι ένα γλωσσικό μοντέλο που παρουσίασε η Google το 2018. Σε αντίθεση με προγενέστερα μοντέλα, λαμβάνει υπόψη ταυτόχρονα τα συμφραζόμενα αριστερά και δεξιά μιας λέξης, κάτι που το βοηθά να επιλύει αμφισημίες. Το BERT είναι σχεδιασμένο για την κατανόηση κειμένου και όχι για τη συγγραφή μεγαλύτερων αποσπασμάτων. Χρησιμοποιείται για αναζήτηση, ταξινόμηση κειμένου, αναγνώριση ονομαστικών οντοτήτων και απάντηση ερωτήσεων και έχει επηρεάσει πολλά μεταγενέστερα μοντέλα.

Θέματα

Γλωσσικό μοντέλο
NLP
Transformer

Δοκιμάστε το KI.ordo

Πράκτορες, ροές εργασιών και πρότυπα σε έναν χώρο εργασίας – δωρεάν επίδειξη 24 ωρών.

Έναρξη επίδειξης

← Όλοι οι όροι

Σχετικοί όροι

Transformer

Ο transformer είναι μια αρχιτεκτονική νευρωνικών δικτύων που παρουσιάστηκε το 2017 στην ερευνητική εργασία «Attention Is All You Need». Στον πυρήνα της βρίσκεται ο μηχανισμός προσοχής: κάθε λέξη σταθμίζεται σε σχέση με όλες τις άλλες λέξεις ενός κειμένου και ο υπολογισμός μπορεί να παραλληλιστεί αποτελεσματικά. Οι transformers αποτελούν τη βάση των σημερινών γλωσσικών μοντέλων όπως τα GPT, Claude και BERT και χρησιμοποιούνται επίσης για εικόνες και ήχο.

Αρχιτεκτονική
Βαθιά μάθηση
+1

Κατανόηση φυσικής γλώσσας (NLU)

Η κατανόηση φυσικής γλώσσας είναι το τμήμα της επεξεργασίας γλώσσας που συλλαμβάνει το νόημα μιας διατύπωσης: ποια πρόθεση κρύβεται πίσω της, ποια πρόσωπα, μέρη ή ημερομηνίες αναφέρονται και ποιος είναι ο τόνος της; Μαζί με την παραγωγή φυσικής γλώσσας (NLG), το NLU αποτελεί τη μία από τις δύο πλευρές του NLP. Ένα παράδειγμα είναι ένα σύστημα εξυπηρέτησης πελατών που αναγνωρίζει το «Το δέμα μου δεν έχει φτάσει ακόμη» ως ερώτημα για παράδοση.

NLP
Ανίχνευση πρόθεσης
+1

Word embeddings

Τα word embeddings αναπαριστούν λέξεις ως αριθμητικά διανύσματα, ώστε λέξεις με παρόμοιο νόημα να βρίσκονται κοντά στον διανυσματικό χώρο, όπως «αυτοκίνητο» και «όχημα». Μέθοδοι όπως το Word2Vec ή το GloVe μαθαίνουν αυτά τα διανύσματα από μεγάλες ποσότητες κειμένου. Αποτέλεσαν σημαντικό βήμα στην επεξεργασία γλώσσας, για παράδειγμα για αναζήτηση ή ταξινόμηση· τα σημερινά γλωσσικά μοντέλα χρησιμοποιούν συμφραζόμενα embeddings, στα οποία μια λέξη αναπαρίσταται διαφορετικά ανάλογα με την πρόταση.

NLP
διανύσματα
+1

Γενετικός προεκπαιδευμένος μετασχηματιστής (GPT)

Το GPT (generative pre-trained transformer) είναι μια σειρά μεγάλων γλωσσικών μοντέλων που αναπτύχθηκαν από την OpenAI και βασίζονται στην αρχιτεκτονική μετασχηματιστή (transformer). Τα μοντέλα προεκπαιδεύονται πρώτα σε τεράστιες ποσότητες κειμένου για να προβλέπουν το επόμενο token και στη συνέχεια εκπαιδεύονται περαιτέρω για διάλογο και ακολουθία οδηγιών. Το πρώτο μοντέλο GPT εμφανίστηκε το 2018· οι επόμενες γενιές στηρίζουν το ChatGPT. Στην καθημερινή γλώσσα, το «GPT» χρησιμοποιείται συχνά για τα γλωσσικά μοντέλα γενικά.

Γλωσσικό μοντέλο
Transformer
+1