Słownik pojęć

Dwukierunkowy LSTM

Czym jest Dwukierunkowy LSTM?

Dwukierunkowy LSTM (BiLSTM) to rekurencyjna sieć neuronowa, która odczytuje sekwencję zarówno od przodu, jak i od tyłu, i łączy oba widoki. Dzięki temu uwzględniany jest także kontekst następujący po każdym słowie. Zanim dominującą pozycję zajęły transformery, był standardowym wyborem w zadaniach takich jak oznaczanie części mowy, rozpoznawanie nazw własnych i rozpoznawanie mowy. W przypadku bardzo długich tekstów i dużych zbiorów danych transformery sprawdzają się dziś zazwyczaj lepiej.

Tematy

Sieci neuronowe
Modele sekwencyjne
NLP

Wypróbuj KI.ordo

Agenci, przepływy i szablony w jednym obszarze roboczym – bezpłatne demo na 24 godziny.

Uruchom demo

← Wszystkie pojęcia

Powiązane pojęcia

Long Short-Term Memory (LSTM)

Long Short-Term Memory (LSTM) to rodzaj rekurencyjnej sieci neuronowej, która potrafi zachowywać informacje w długich sekwencjach. Tak zwane bramki decydują w każdym kroku, co zapisać, zapomnieć lub wyprowadzić, co łagodzi problem zanikającego gradientu. Przez wiele lat LSTM-y kształtowały rozpoznawanie mowy, tłumaczenie i prognozowanie szeregów czasowych. W przetwarzaniu języka zostały w dużej mierze zastąpione przez transformery, ale nadal są powszechne w danych z czujników.

sieci neuronowe
sekwencje
+1

Rekurencyjna sieć neuronowa (RNN)

Rekurencyjna sieć neuronowa przetwarza dane po kolei i przekazuje stan wewnętrzny z jednego kroku do następnego – rodzaj pamięci krótkotrwałej. Dzięki temu nadaje się do sekwencji, takich jak tekst, mowa lub szeregi czasowe, na przykład do przewidywania kolejnego słowa lub kolejnego odczytu czujnika. Proste sieci RNN łatwo zapominają informacje z odległej przeszłości; warianty takie jak LSTM i GRU łagodzą ten problem. W modelach językowych sieci RNN zostały w dużej mierze wyparte przez transformery.

sieci neuronowe
sekwencje
+1

Modelowanie sekwencji

Modelowanie sekwencji obejmuje metody, które przetwarzają i przewidują dane w ustalonej kolejności, w której liczy się pozycja każdego elementu. Typowe sekwencje to tekst, mowa, szeregi czasowe, takie jak sprzedaż lub odczyty czujników, oraz fragmenty DNA. Zastosowania sięgają od tłumaczenia i generowania tekstu po rozpoznawanie mowy i prognozowanie sprzedaży. Dawniej stosowano do tego ukryte modele Markowa i sieci rekurencyjne; dziś w przypadku języka dominują modele typu transformer.

sekwencje
deep learning
+1

Rozpoznawanie nazwanych encji (NER)

Rozpoznawanie nazwanych encji (NER) to technika przetwarzania języka naturalnego, która znajduje w tekście nazwy osób, firm i miejsc, a także daty lub kwoty, i przypisuje każdą z nich do kategorii. Zamienia swobodny tekst w dane ustrukturyzowane. Przykład: z e-maila automatycznie wyodrębniane są firma nadawcy, osoba kontaktowa, termin dostawy i kwota faktury, które trafiają do systemu CRM.

NLP
Ekstrakcja informacji
+1

Szablon