Słownik pojęć

Modelowanie sekwencji

Czym jest Modelowanie sekwencji?

Modelowanie sekwencji obejmuje metody, które przetwarzają i przewidują dane w ustalonej kolejności, w której liczy się pozycja każdego elementu. Typowe sekwencje to tekst, mowa, szeregi czasowe, takie jak sprzedaż lub odczyty czujników, oraz fragmenty DNA. Zastosowania sięgają od tłumaczenia i generowania tekstu po rozpoznawanie mowy i prognozowanie sprzedaży. Dawniej stosowano do tego ukryte modele Markowa i sieci rekurencyjne; dziś w przypadku języka dominują modele typu transformer.

Tematy

sekwencje
deep learning
szeregi czasowe

Wypróbuj KI.ordo

Agenci, przepływy i szablony w jednym obszarze roboczym – bezpłatne demo na 24 godziny.

Uruchom demo

← Wszystkie pojęcia

Powiązane pojęcia

Rekurencyjna sieć neuronowa (RNN)

Rekurencyjna sieć neuronowa przetwarza dane po kolei i przekazuje stan wewnętrzny z jednego kroku do następnego – rodzaj pamięci krótkotrwałej. Dzięki temu nadaje się do sekwencji, takich jak tekst, mowa lub szeregi czasowe, na przykład do przewidywania kolejnego słowa lub kolejnego odczytu czujnika. Proste sieci RNN łatwo zapominają informacje z odległej przeszłości; warianty takie jak LSTM i GRU łagodzą ten problem. W modelach językowych sieci RNN zostały w dużej mierze wyparte przez transformery.

sieci neuronowe
sekwencje
+1

Long Short-Term Memory (LSTM)

Long Short-Term Memory (LSTM) to rodzaj rekurencyjnej sieci neuronowej, która potrafi zachowywać informacje w długich sekwencjach. Tak zwane bramki decydują w każdym kroku, co zapisać, zapomnieć lub wyprowadzić, co łagodzi problem zanikającego gradientu. Przez wiele lat LSTM-y kształtowały rozpoznawanie mowy, tłumaczenie i prognozowanie szeregów czasowych. W przetwarzaniu języka zostały w dużej mierze zastąpione przez transformery, ale nadal są powszechne w danych z czujników.

sieci neuronowe
sekwencje
+1

Transformer

Transformer to architektura sieci neuronowych przedstawiona w 2017 roku w artykule naukowym „Attention Is All You Need”. Jej rdzeniem jest mechanizm uwagi: każde słowo jest ważone w relacji do wszystkich pozostałych słów w tekście, a obliczenia można efektywnie zrównoleglać. Transformery stanowią podstawę dzisiejszych modeli językowych, takich jak GPT, Claude i BERT, i są też wykorzystywane do obrazów i dźwięku.

Architektura
Deep learning
+1

Ukryty model Markowa (HMM)

Ukryty model Markowa (HMM) to model statystyczny dla sekwencji, w którym rzeczywiste stany są ukryte i można je wywnioskować tylko z obserwowalnych sygnałów. Opisuje prawdopodobieństwo, że po jednym stanie nastąpi inny, oraz że każdy stan wytworzy daną obserwację. HMM-y były długo standardem w rozpoznawaniu mowy i oznaczaniu części mowy; dziś nadal stosuje się je na przykład w bioinformatyce i analizie szeregów czasowych.

Statystyka
Modele sekwencyjne
+1