Γλωσσάριο

Μοντελοποίηση ακολουθιών

Τι είναι Μοντελοποίηση ακολουθιών;

Η μοντελοποίηση ακολουθιών καλύπτει μεθόδους που επεξεργάζονται και προβλέπουν δεδομένα με καθορισμένη σειρά, όπου η θέση κάθε στοιχείου έχει σημασία. Τυπικές ακολουθίες είναι κείμενο, προφορικός λόγος, χρονοσειρές όπως πωλήσεις ή μετρήσεις αισθητήρων, και τμήματα DNA. Οι εφαρμογές κυμαίνονται από τη μετάφραση και την παραγωγή κειμένου έως την αναγνώριση ομιλίας και την πρόβλεψη πωλήσεων. Για τον σκοπό αυτό έχουν χρησιμοποιηθεί κρυφά μοντέλα Markov και αναδρομικά δίκτυα· σήμερα στη γλώσσα κυριαρχούν τα μοντέλα transformer.

Θέματα

ακολουθίες
βαθιά μάθηση
χρονοσειρές

Δοκιμάστε το KI.ordo

Πράκτορες, ροές εργασιών και πρότυπα σε έναν χώρο εργασίας – δωρεάν επίδειξη 24 ωρών.

Έναρξη επίδειξης

← Όλοι οι όροι

Σχετικοί όροι

Αναδρομικό νευρωνικό δίκτυο (RNN)

Ένα αναδρομικό νευρωνικό δίκτυο επεξεργάζεται τα δεδομένα με σειρά και μεταφέρει μια εσωτερική κατάσταση από κάθε βήμα στο επόμενο – ένα είδος βραχυπρόθεσμης μνήμης. Αυτό το καθιστά κατάλληλο για ακολουθίες όπως κείμενο, ομιλία ή χρονοσειρές, για παράδειγμα για την πρόβλεψη της επόμενης λέξης ή της επόμενης μέτρησης αισθητήρα. Τα απλά RNN ξεχνούν εύκολα πληροφορίες από πολύ παλιά· παραλλαγές όπως τα LSTM και GRU το περιορίζουν. Στα γλωσσικά μοντέλα, τα RNN έχουν σε μεγάλο βαθμό αντικατασταθεί από τους transformers.

νευρωνικά δίκτυα
ακολουθίες
+1

Long Short-Term Memory (LSTM)

Το Long Short-Term Memory (LSTM) είναι ένας τύπος επαναλαμβανόμενου νευρωνικού δικτύου που μπορεί να διατηρεί πληροφορίες σε μεγάλες ακολουθίες. Οι λεγόμενες πύλες αποφασίζουν σε κάθε βήμα τι θα αποθηκευτεί, τι θα ξεχαστεί ή τι θα εξαχθεί, κάτι που περιορίζει το πρόβλημα της εξαφανιζόμενης κλίσης (vanishing gradient). Για πολλά χρόνια τα LSTM διαμόρφωσαν την αναγνώριση ομιλίας, τη μετάφραση και την πρόβλεψη χρονοσειρών. Στην επεξεργασία γλώσσας έχουν αντικατασταθεί σε μεγάλο βαθμό από μετασχηματιστές (transformers), αλλά παραμένουν συνηθισμένα για δεδομένα αισθητήρων.

νευρωνικά δίκτυα
ακολουθίες
+1

Transformer

Ο transformer είναι μια αρχιτεκτονική νευρωνικών δικτύων που παρουσιάστηκε το 2017 στην ερευνητική εργασία «Attention Is All You Need». Στον πυρήνα της βρίσκεται ο μηχανισμός προσοχής: κάθε λέξη σταθμίζεται σε σχέση με όλες τις άλλες λέξεις ενός κειμένου και ο υπολογισμός μπορεί να παραλληλιστεί αποτελεσματικά. Οι transformers αποτελούν τη βάση των σημερινών γλωσσικών μοντέλων όπως τα GPT, Claude και BERT και χρησιμοποιούνται επίσης για εικόνες και ήχο.

Αρχιτεκτονική
Βαθιά μάθηση
+1

Κρυφό μοντέλο Markov (HMM)

Ένα κρυφό μοντέλο Markov (hidden Markov model, HMM) είναι ένα στατιστικό μοντέλο για ακολουθίες, στο οποίο οι πραγματικές καταστάσεις είναι κρυφές και μπορούν να συναχθούν μόνο από παρατηρήσιμα σήματα. Περιγράφει την πιθανότητα μιας κατάστασης να ακολουθήσει μια άλλη και κάθε κατάσταση να παράγει μια δεδομένη παρατήρηση. Τα HMM ήταν για πολύ καιρό το πρότυπο στην αναγνώριση ομιλίας και στη σήμανση μερών του λόγου· σήμερα χρησιμοποιούνται ακόμη, για παράδειγμα, στη βιοπληροφορική και στην ανάλυση χρονοσειρών.

Στατιστική
Μοντέλα ακολουθιών
+1