Glosar

Long Short-Term Memory (LSTM)

Ce este Long Short-Term Memory (LSTM)?

Long Short-Term Memory (LSTM) este un tip de rețea neuronală recurentă care poate păstra informații de-a lungul unor secvențe lungi. Așa-numitele porți decid la fiecare pas ce să stocheze, să uite sau să emită, ceea ce atenuează problema dispariției gradientului. Ani la rând, LSTM-urile au marcat recunoașterea vorbirii, traducerea și prognoza seriilor de timp. În procesarea limbajului au fost în mare parte înlocuite de transformere, dar rămân frecvente pentru datele de la senzori.

Subiecte

rețele neuronale
secvențe
deep learning

Încercați KI.ordo

Agenți, fluxuri și șabloane într-un singur spațiu de lucru – demo gratuit de 24 de ore.

Porniți demo-ul

← Toți termenii

Termeni înrudiți

LSTM bidirecțional

Un LSTM bidirecțional (BiLSTM) este o rețea neuronală recurentă care citește o secvență atât înainte, cât și înapoi și combină cele două perspective. Astfel, este luat în considerare și contextul care urmează fiecărui cuvânt. Înainte ca modelele transformer să preia conducerea, era o alegere standard pentru sarcini precum etichetarea părților de vorbire, recunoașterea entităților denumite și recunoașterea vorbirii. Pentru texte foarte lungi și seturi mari de date, modelele transformer au de obicei performanțe mai bune în prezent.

Rețele neuronale
Modele de secvențe
+1

Rețea neuronală recurentă (RNN)

O rețea neuronală recurentă prelucrează datele în ordine și transmite o stare internă de la un pas la următorul – un fel de memorie pe termen scurt. Astfel este potrivită pentru secvențe precum text, vorbire sau serii de timp, de exemplu pentru a prezice următorul cuvânt sau următoarea valoare a unui senzor. RNN-urile simple uită ușor informațiile din urmă cu mult timp; variante precum LSTM și GRU atenuează această problemă. Pentru modelele lingvistice, RNN-urile au fost în mare parte înlocuite de transformere.

rețele neuronale
secvențe
+1

Modelarea secvențelor

Modelarea secvențelor cuprinde metode care prelucrează și prezic date aflate într-o ordine fixă, în care poziția fiecărui element contează. Secvențele tipice sunt textul, limbajul vorbit, seriile de timp, precum vânzările sau valorile senzorilor, și segmentele de ADN. Aplicațiile merg de la traducere și generare de text până la recunoașterea vorbirii și prognoza vânzărilor. În acest scop au fost folosite modelele Markov ascunse și rețelele recurente; astăzi, pentru limbaj domină modelele de tip transformer.

secvențe
deep learning
+1

Transformer

Transformerul este o arhitectură de rețea neuronală introdusă în 2017 în lucrarea de cercetare „Attention Is All You Need”. În centrul ei se află mecanismul de atenție: fiecare cuvânt este ponderat în raport cu toate celelalte cuvinte dintr-un text, iar calculul poate fi paralelizat eficient. Transformerele stau la baza modelelor lingvistice de azi, precum GPT, Claude și BERT, și sunt folosite și pentru imagini și audio.

Arhitectură
Deep learning
+1