Γλωσσάριο

Long Short-Term Memory (LSTM)

Τι είναι Long Short-Term Memory (LSTM);

Το Long Short-Term Memory (LSTM) είναι ένας τύπος επαναλαμβανόμενου νευρωνικού δικτύου που μπορεί να διατηρεί πληροφορίες σε μεγάλες ακολουθίες. Οι λεγόμενες πύλες αποφασίζουν σε κάθε βήμα τι θα αποθηκευτεί, τι θα ξεχαστεί ή τι θα εξαχθεί, κάτι που περιορίζει το πρόβλημα της εξαφανιζόμενης κλίσης (vanishing gradient). Για πολλά χρόνια τα LSTM διαμόρφωσαν την αναγνώριση ομιλίας, τη μετάφραση και την πρόβλεψη χρονοσειρών. Στην επεξεργασία γλώσσας έχουν αντικατασταθεί σε μεγάλο βαθμό από μετασχηματιστές (transformers), αλλά παραμένουν συνηθισμένα για δεδομένα αισθητήρων.

Θέματα

νευρωνικά δίκτυα
ακολουθίες
βαθιά μάθηση

Δοκιμάστε το KI.ordo

Πράκτορες, ροές εργασιών και πρότυπα σε έναν χώρο εργασίας – δωρεάν επίδειξη 24 ωρών.

Έναρξη επίδειξης

← Όλοι οι όροι

Σχετικοί όροι

Αμφίδρομο LSTM

Ένα αμφίδρομο LSTM (BiLSTM) είναι ένα αναδρομικό νευρωνικό δίκτυο που διαβάζει μια ακολουθία τόσο προς τα εμπρός όσο και προς τα πίσω και συνδυάζει τις δύο οπτικές. Έτσι λαμβάνονται υπόψη και τα συμφραζόμενα που ακολουθούν κάθε λέξη. Πριν επικρατήσουν τα transformer, ήταν τυπική επιλογή για εργασίες όπως η επισήμανση μερών του λόγου, η αναγνώριση ονομαστικών οντοτήτων και η αναγνώριση ομιλίας. Για πολύ μεγάλα κείμενα και μεγάλα σύνολα δεδομένων, τα transformer αποδίδουν σήμερα συνήθως καλύτερα.

Νευρωνικά δίκτυα
Μοντέλα ακολουθιών
+1

Αναδρομικό νευρωνικό δίκτυο (RNN)

Ένα αναδρομικό νευρωνικό δίκτυο επεξεργάζεται τα δεδομένα με σειρά και μεταφέρει μια εσωτερική κατάσταση από κάθε βήμα στο επόμενο – ένα είδος βραχυπρόθεσμης μνήμης. Αυτό το καθιστά κατάλληλο για ακολουθίες όπως κείμενο, ομιλία ή χρονοσειρές, για παράδειγμα για την πρόβλεψη της επόμενης λέξης ή της επόμενης μέτρησης αισθητήρα. Τα απλά RNN ξεχνούν εύκολα πληροφορίες από πολύ παλιά· παραλλαγές όπως τα LSTM και GRU το περιορίζουν. Στα γλωσσικά μοντέλα, τα RNN έχουν σε μεγάλο βαθμό αντικατασταθεί από τους transformers.

νευρωνικά δίκτυα
ακολουθίες
+1

Μοντελοποίηση ακολουθιών

Η μοντελοποίηση ακολουθιών καλύπτει μεθόδους που επεξεργάζονται και προβλέπουν δεδομένα με καθορισμένη σειρά, όπου η θέση κάθε στοιχείου έχει σημασία. Τυπικές ακολουθίες είναι κείμενο, προφορικός λόγος, χρονοσειρές όπως πωλήσεις ή μετρήσεις αισθητήρων, και τμήματα DNA. Οι εφαρμογές κυμαίνονται από τη μετάφραση και την παραγωγή κειμένου έως την αναγνώριση ομιλίας και την πρόβλεψη πωλήσεων. Για τον σκοπό αυτό έχουν χρησιμοποιηθεί κρυφά μοντέλα Markov και αναδρομικά δίκτυα· σήμερα στη γλώσσα κυριαρχούν τα μοντέλα transformer.

ακολουθίες
βαθιά μάθηση
+1

Transformer

Ο transformer είναι μια αρχιτεκτονική νευρωνικών δικτύων που παρουσιάστηκε το 2017 στην ερευνητική εργασία «Attention Is All You Need». Στον πυρήνα της βρίσκεται ο μηχανισμός προσοχής: κάθε λέξη σταθμίζεται σε σχέση με όλες τις άλλες λέξεις ενός κειμένου και ο υπολογισμός μπορεί να παραλληλιστεί αποτελεσματικά. Οι transformers αποτελούν τη βάση των σημερινών γλωσσικών μοντέλων όπως τα GPT, Claude και BERT και χρησιμοποιούνται επίσης για εικόνες και ήχο.

Αρχιτεκτονική
Βαθιά μάθηση
+1