Dolgi kratkoročni spomin (LSTM) je vrsta rekurentne nevronske mreže, ki lahko ohranja informacije skozi dolga zaporedja. Tako imenovana vrata pri vsakem koraku odločajo, kaj shraniti, pozabiti ali izpisati, kar ublaži problem izginjajočega gradienta. Dolga leta so LSTM-ji oblikovali prepoznavanje govora, prevajanje in napovedovanje časovnih vrst. Pri obdelavi jezika so jih večinoma nadomestili transformerji, vendar ostajajo pogosti pri podatkih senzorjev.
Agenti, poteki dela in predloge v enem delovnem prostoru – brezplačna 24-urna predstavitev.
Začni predstavitevDvosmerni LSTM (BiLSTM) je rekurentna nevronska mreža, ki zaporedje bere naprej in nazaj ter oba pogleda združi. Tako se upošteva tudi kontekst, ki sledi posamezni besedi. Preden so prevladali transformerji, je bil standardna izbira za naloge, kot so označevanje besednih vrst, prepoznavanje imenskih entitet in razpoznavanje govora. Pri zelo dolgih besedilih in velikih zbirkah podatkov so danes transformerji običajno uspešnejši.
Ponavljajoča se nevronska mreža obdeluje podatke po vrsti in notranje stanje prenaša iz koraka v korak – nekakšen kratkoročni spomin. Zato je primerna za zaporedja, kot so besedilo, govor ali časovne vrste, na primer za napoved naslednje besede ali naslednje meritve senzorja. Preproste mreže RNN zlahka pozabijo informacije iz daljne preteklosti; različice, kot sta LSTM in GRU, to omilijo. Pri jezikovnih modelih so RNN večinoma nadomestili transformerji.
Modeliranje zaporedij zajema metode, ki obdelujejo in napovedujejo podatke v določenem vrstnem redu, kjer je pomemben položaj vsakega elementa. Tipična zaporedja so besedilo, govorjeni jezik, časovne vrste, kot so prodaja ali meritve senzorjev, in odseki DNK. Uporabe segajo od prevajanja in generiranja besedil do prepoznavanja govora in napovedovanja prodaje. Za to so se uporabljali skriti Markovljevi modeli in ponavljajoče se mreže; danes pri jeziku prevladujejo modeli transformer.
Transformer je arhitektura nevronskih mrež, predstavljena leta 2017 v raziskovalnem članku „Attention Is All You Need“. Jedro je mehanizem pozornosti: vsaka beseda se pretehta glede na vse druge besede v besedilu, izračun pa je mogoče učinkovito vzporediti. Transformerji so podlaga današnjih jezikovnih modelov, kot so GPT, Claude in BERT, uporabljajo pa se tudi za slike in zvok.
