Dvosmjerni LSTM (BiLSTM) rekurentna je neuronska mreža koja čita slijed i unaprijed i unatrag te kombinira oba pogleda. To znači da se uzima u obzir i kontekst koji slijedi nakon svake riječi. Prije nego što su prevladali transformeri, bio je standardni izbor za zadatke kao što su označavanje vrsta riječi, prepoznavanje imenovanih entiteta i prepoznavanje govora. Za vrlo duge tekstove i velike skupove podataka transformeri danas obično daju bolje rezultate.
Agenti, tijekovi rada i predlošci u jednom radnom prostoru – besplatna demo verzija na 24 sata.
Pokrenite demoDugo kratkoročno pamćenje (LSTM, Long Short-Term Memory) vrsta je rekurentne neuronske mreže koja može zadržati informacije kroz duge nizove. Tzv. vrata u svakom koraku odlučuju što pohraniti, zaboraviti ili isporučiti, čime se ublažava problem nestajućeg gradijenta. Dugi niz godina LSTM-ovi su oblikovali prepoznavanje govora, prevođenje i prognoziranje vremenskih nizova. U obradi jezika uglavnom su ih zamijenili transformeri, ali i dalje su uobičajeni za podatke senzora.
Rekurentna neuronska mreža obrađuje podatke redom i prenosi unutarnje stanje iz svakog koraka u sljedeći – svojevrsnu kratkoročnu memoriju. Zato je prikladna za nizove poput teksta, govora ili vremenskih serija, primjerice za predviđanje sljedeće riječi ili sljedećeg očitanja senzora. Jednostavne RNN-ove lako zaboravljaju informacije iz daleke prošlosti; varijante poput LSTM-a i GRU-a to ublažavaju. Kod jezičnih modela RNN-ove su uglavnom zamijenili transformeri.
Modeliranje nizova obuhvaća metode koje obrađuju i predviđaju podatke u utvrđenom redoslijedu, pri čemu je položaj svakog elementa važan. Tipični nizovi su tekst, govorni jezik, vremenske serije poput prodaje ili očitanja senzora te segmenti DNK. Primjene sežu od prevođenja i generiranja teksta do prepoznavanja govora i prognoziranja prodaje. Za to su se koristili skriveni Markovljevi modeli i rekurentne mreže; danas za jezik dominiraju transformerski modeli.
Prepoznavanje imenovanih entiteta (NER) tehnika je obrade prirodnog jezika koja u tekstu pronalazi imena osoba, tvrtki i mjesta te datume ili iznose i svakom dodjeljuje kategoriju. Slobodan tekst pretvara u strukturirane podatke. Primjer: iz e-poruke se automatski izdvajaju tvrtka pošiljatelja, kontakt osoba, datum isporuke i iznos računa te prenose u CRM.
