Modelování sekvencí zahrnuje metody, které zpracovávají a předpovídají data v pevném pořadí, kde záleží na pozici každého prvku. Typickými sekvencemi jsou text, mluvená řeč, časové řady, například prodeje nebo hodnoty senzorů, a úseky DNA. Použití sahá od překladu a generování textu po rozpoznávání řeči a předpovědi prodeje. K tomu se využívaly skryté Markovovy modely a rekurentní sítě; dnes v jazyce dominují modely typu transformer.
Agenti, postupy a šablony v jednom pracovním prostoru – 24hodinové demo zdarma.
Spustit demoRekurentní neuronová síť zpracovává data postupně a předává vnitřní stav z každého kroku do dalšího – jakousi krátkodobou paměť. Hodí se proto pro sekvence, jako jsou text, řeč nebo časové řady, například k předpovědi dalšího slova nebo další hodnoty senzoru. Jednoduché RNN snadno zapomínají informace z dávné minulosti; varianty jako LSTM a GRU tento problém zmírňují. U jazykových modelů byly RNN do značné míry nahrazeny transformery.
Long Short-Term Memory (LSTM) je typ rekurentní neuronové sítě, která dokáže uchovávat informace napříč dlouhými posloupnostmi. Tzv. brány v každém kroku rozhodují, co uložit, zapomenout nebo vydat, čímž se zmírňuje problém mizejícího gradientu. LSTM po mnoho let formovaly rozpoznávání řeči, překlad a předpovídání časových řad. Ve zpracování jazyka je z velké části nahradily transformery, ale u dat ze senzorů zůstávají běžné.
Transformer je architektura neuronové sítě představená v roce 2017 ve výzkumné práci „Attention Is All You Need“. Jejím jádrem je mechanismus pozornosti: každé slovo se váží ve vztahu ke všem ostatním slovům v textu a výpočet lze efektivně paralelizovat. Transformery tvoří základ dnešních jazykových modelů, jako jsou GPT, Claude a BERT, a používají se také pro obraz a zvuk.
Skrytý Markovův model (HMM, hidden Markov model) je statistický model pro posloupnosti, v němž jsou skutečné stavy skryté a lze je odvodit jen z pozorovatelných signálů. Popisuje pravděpodobnost, že po jednom stavu následuje jiný a že každý stav vytvoří určité pozorování. HMM byly dlouho standardem v rozpoznávání řeči a značkování slovních druhů; dnes se stále používají například v bioinformatice a analýze časových řad.
