Słownik pojęć

Long Short-Term Memory (LSTM)

Czym jest Long Short-Term Memory (LSTM)?

Long Short-Term Memory (LSTM) to rodzaj rekurencyjnej sieci neuronowej, która potrafi zachowywać informacje w długich sekwencjach. Tak zwane bramki decydują w każdym kroku, co zapisać, zapomnieć lub wyprowadzić, co łagodzi problem zanikającego gradientu. Przez wiele lat LSTM-y kształtowały rozpoznawanie mowy, tłumaczenie i prognozowanie szeregów czasowych. W przetwarzaniu języka zostały w dużej mierze zastąpione przez transformery, ale nadal są powszechne w danych z czujników.

Tematy

sieci neuronowe
sekwencje
deep learning

Wypróbuj KI.ordo

Agenci, przepływy i szablony w jednym obszarze roboczym – bezpłatne demo na 24 godziny.

Uruchom demo

← Wszystkie pojęcia

Powiązane pojęcia

Dwukierunkowy LSTM

Dwukierunkowy LSTM (BiLSTM) to rekurencyjna sieć neuronowa, która odczytuje sekwencję zarówno od przodu, jak i od tyłu, i łączy oba widoki. Dzięki temu uwzględniany jest także kontekst następujący po każdym słowie. Zanim dominującą pozycję zajęły transformery, był standardowym wyborem w zadaniach takich jak oznaczanie części mowy, rozpoznawanie nazw własnych i rozpoznawanie mowy. W przypadku bardzo długich tekstów i dużych zbiorów danych transformery sprawdzają się dziś zazwyczaj lepiej.

Sieci neuronowe
Modele sekwencyjne
+1

Rekurencyjna sieć neuronowa (RNN)

Rekurencyjna sieć neuronowa przetwarza dane po kolei i przekazuje stan wewnętrzny z jednego kroku do następnego – rodzaj pamięci krótkotrwałej. Dzięki temu nadaje się do sekwencji, takich jak tekst, mowa lub szeregi czasowe, na przykład do przewidywania kolejnego słowa lub kolejnego odczytu czujnika. Proste sieci RNN łatwo zapominają informacje z odległej przeszłości; warianty takie jak LSTM i GRU łagodzą ten problem. W modelach językowych sieci RNN zostały w dużej mierze wyparte przez transformery.

sieci neuronowe
sekwencje
+1

Modelowanie sekwencji

Modelowanie sekwencji obejmuje metody, które przetwarzają i przewidują dane w ustalonej kolejności, w której liczy się pozycja każdego elementu. Typowe sekwencje to tekst, mowa, szeregi czasowe, takie jak sprzedaż lub odczyty czujników, oraz fragmenty DNA. Zastosowania sięgają od tłumaczenia i generowania tekstu po rozpoznawanie mowy i prognozowanie sprzedaży. Dawniej stosowano do tego ukryte modele Markowa i sieci rekurencyjne; dziś w przypadku języka dominują modele typu transformer.

sekwencje
deep learning
+1

Transformer

Transformer to architektura sieci neuronowych przedstawiona w 2017 roku w artykule naukowym „Attention Is All You Need”. Jej rdzeniem jest mechanizm uwagi: każde słowo jest ważone w relacji do wszystkich pozostałych słów w tekście, a obliczenia można efektywnie zrównoleglać. Transformery stanowią podstawę dzisiejszych modeli językowych, takich jak GPT, Claude i BERT, i są też wykorzystywane do obrazów i dźwięku.

Architektura
Deep learning
+1