Dvosmerni LSTM (BiLSTM) je rekurentna nevronska mreža, ki zaporedje bere naprej in nazaj ter oba pogleda združi. Tako se upošteva tudi kontekst, ki sledi posamezni besedi. Preden so prevladali transformerji, je bil standardna izbira za naloge, kot so označevanje besednih vrst, prepoznavanje imenskih entitet in razpoznavanje govora. Pri zelo dolgih besedilih in velikih zbirkah podatkov so danes transformerji običajno uspešnejši.
Agenti, poteki dela in predloge v enem delovnem prostoru – brezplačna 24-urna predstavitev.
Začni predstavitevDolgi kratkoročni spomin (LSTM) je vrsta rekurentne nevronske mreže, ki lahko ohranja informacije skozi dolga zaporedja. Tako imenovana vrata pri vsakem koraku odločajo, kaj shraniti, pozabiti ali izpisati, kar ublaži problem izginjajočega gradienta. Dolga leta so LSTM-ji oblikovali prepoznavanje govora, prevajanje in napovedovanje časovnih vrst. Pri obdelavi jezika so jih večinoma nadomestili transformerji, vendar ostajajo pogosti pri podatkih senzorjev.
Ponavljajoča se nevronska mreža obdeluje podatke po vrsti in notranje stanje prenaša iz koraka v korak – nekakšen kratkoročni spomin. Zato je primerna za zaporedja, kot so besedilo, govor ali časovne vrste, na primer za napoved naslednje besede ali naslednje meritve senzorja. Preproste mreže RNN zlahka pozabijo informacije iz daljne preteklosti; različice, kot sta LSTM in GRU, to omilijo. Pri jezikovnih modelih so RNN večinoma nadomestili transformerji.
Modeliranje zaporedij zajema metode, ki obdelujejo in napovedujejo podatke v določenem vrstnem redu, kjer je pomemben položaj vsakega elementa. Tipična zaporedja so besedilo, govorjeni jezik, časovne vrste, kot so prodaja ali meritve senzorjev, in odseki DNK. Uporabe segajo od prevajanja in generiranja besedil do prepoznavanja govora in napovedovanja prodaje. Za to so se uporabljali skriti Markovljevi modeli in ponavljajoče se mreže; danes pri jeziku prevladujejo modeli transformer.
Prepoznavanje poimenovanih entitet (NER) je tehnika obdelave naravnega jezika, ki v besedilu najde imena oseb, podjetij in krajev ter datume ali zneske in vsakega uvrsti v kategorijo. Prosto besedilo pretvori v strukturirane podatke. Primer: podjetje pošiljatelja, kontaktna oseba, datum dobave in znesek računa se samodejno izluščijo iz e-poštnega sporočila in prenesejo v sistem CRM.
