Glosar

Modelarea secvențelor

Ce este Modelarea secvențelor?

Modelarea secvențelor cuprinde metode care prelucrează și prezic date aflate într-o ordine fixă, în care poziția fiecărui element contează. Secvențele tipice sunt textul, limbajul vorbit, seriile de timp, precum vânzările sau valorile senzorilor, și segmentele de ADN. Aplicațiile merg de la traducere și generare de text până la recunoașterea vorbirii și prognoza vânzărilor. În acest scop au fost folosite modelele Markov ascunse și rețelele recurente; astăzi, pentru limbaj domină modelele de tip transformer.

Subiecte

secvențe
deep learning
serii de timp

Încercați KI.ordo

Agenți, fluxuri și șabloane într-un singur spațiu de lucru – demo gratuit de 24 de ore.

Porniți demo-ul

← Toți termenii

Termeni înrudiți

Rețea neuronală recurentă (RNN)

O rețea neuronală recurentă prelucrează datele în ordine și transmite o stare internă de la un pas la următorul – un fel de memorie pe termen scurt. Astfel este potrivită pentru secvențe precum text, vorbire sau serii de timp, de exemplu pentru a prezice următorul cuvânt sau următoarea valoare a unui senzor. RNN-urile simple uită ușor informațiile din urmă cu mult timp; variante precum LSTM și GRU atenuează această problemă. Pentru modelele lingvistice, RNN-urile au fost în mare parte înlocuite de transformere.

rețele neuronale
secvențe
+1

Long Short-Term Memory (LSTM)

Long Short-Term Memory (LSTM) este un tip de rețea neuronală recurentă care poate păstra informații de-a lungul unor secvențe lungi. Așa-numitele porți decid la fiecare pas ce să stocheze, să uite sau să emită, ceea ce atenuează problema dispariției gradientului. Ani la rând, LSTM-urile au marcat recunoașterea vorbirii, traducerea și prognoza seriilor de timp. În procesarea limbajului au fost în mare parte înlocuite de transformere, dar rămân frecvente pentru datele de la senzori.

rețele neuronale
secvențe
+1

Transformer

Transformerul este o arhitectură de rețea neuronală introdusă în 2017 în lucrarea de cercetare „Attention Is All You Need”. În centrul ei se află mecanismul de atenție: fiecare cuvânt este ponderat în raport cu toate celelalte cuvinte dintr-un text, iar calculul poate fi paralelizat eficient. Transformerele stau la baza modelelor lingvistice de azi, precum GPT, Claude și BERT, și sunt folosite și pentru imagini și audio.

Arhitectură
Deep learning
+1

Model Markov ascuns (HMM)

Un model Markov ascuns (HMM) este un model statistic pentru secvențe, în care stările reale sunt ascunse și pot fi deduse doar din semnale observabile. Descrie probabilitatea ca o stare să fie urmată de alta și ca fiecare stare să producă o anumită observație. HMM-urile au fost mult timp standardul în recunoașterea vorbirii și în etichetarea părților de vorbire; astăzi sunt încă folosite, de exemplu, în bioinformatică și în analiza seriilor de timp.

Statistică
Modele de secvențe
+1