Pojmovnik

Long Short-Term Memory (LSTM)

Što je Long Short-Term Memory (LSTM)?

Dugo kratkoročno pamćenje (LSTM, Long Short-Term Memory) vrsta je rekurentne neuronske mreže koja može zadržati informacije kroz duge nizove. Tzv. vrata u svakom koraku odlučuju što pohraniti, zaboraviti ili isporučiti, čime se ublažava problem nestajućeg gradijenta. Dugi niz godina LSTM-ovi su oblikovali prepoznavanje govora, prevođenje i prognoziranje vremenskih nizova. U obradi jezika uglavnom su ih zamijenili transformeri, ali i dalje su uobičajeni za podatke senzora.

Teme

neuronske mreže
nizovi
duboko učenje

Isprobajte KI.ordo

Agenti, tijekovi rada i predlošci u jednom radnom prostoru – besplatna demo verzija na 24 sata.

Pokrenite demo

← Svi pojmovi

Srodni pojmovi

Dvosmjerni LSTM

Dvosmjerni LSTM (BiLSTM) rekurentna je neuronska mreža koja čita slijed i unaprijed i unatrag te kombinira oba pogleda. To znači da se uzima u obzir i kontekst koji slijedi nakon svake riječi. Prije nego što su prevladali transformeri, bio je standardni izbor za zadatke kao što su označavanje vrsta riječi, prepoznavanje imenovanih entiteta i prepoznavanje govora. Za vrlo duge tekstove i velike skupove podataka transformeri danas obično daju bolje rezultate.

Neuronske mreže
Sekvencijski modeli
+1

Rekurentna neuronska mreža (RNN)

Rekurentna neuronska mreža obrađuje podatke redom i prenosi unutarnje stanje iz svakog koraka u sljedeći – svojevrsnu kratkoročnu memoriju. Zato je prikladna za nizove poput teksta, govora ili vremenskih serija, primjerice za predviđanje sljedeće riječi ili sljedećeg očitanja senzora. Jednostavne RNN-ove lako zaboravljaju informacije iz daleke prošlosti; varijante poput LSTM-a i GRU-a to ublažavaju. Kod jezičnih modela RNN-ove su uglavnom zamijenili transformeri.

neuronske mreže
nizovi
+1

Modeliranje nizova

Modeliranje nizova obuhvaća metode koje obrađuju i predviđaju podatke u utvrđenom redoslijedu, pri čemu je položaj svakog elementa važan. Tipični nizovi su tekst, govorni jezik, vremenske serije poput prodaje ili očitanja senzora te segmenti DNK. Primjene sežu od prevođenja i generiranja teksta do prepoznavanja govora i prognoziranja prodaje. Za to su se koristili skriveni Markovljevi modeli i rekurentne mreže; danas za jezik dominiraju transformerski modeli.

nizovi
duboko učenje
+1

Transformer

Transformer je arhitektura neuronskih mreža predstavljena 2017. u istraživačkom radu „Attention Is All You Need“. U njezinoj je jezgri mehanizam pažnje: svaka riječ vaga se u odnosu na sve ostale riječi u tekstu, a izračun se može učinkovito paralelizirati. Transformeri su temelj današnjih jezičnih modela poput GPT-a, Claudea i BERT-a, a koriste se i za slike i zvuk.

Arhitektura
Duboko učenje
+1