Long Short-Term Memory (LSTM) je typ rekurentní neuronové sítě, která dokáže uchovávat informace napříč dlouhými posloupnostmi. Tzv. brány v každém kroku rozhodují, co uložit, zapomenout nebo vydat, čímž se zmírňuje problém mizejícího gradientu. LSTM po mnoho let formovaly rozpoznávání řeči, překlad a předpovídání časových řad. Ve zpracování jazyka je z velké části nahradily transformery, ale u dat ze senzorů zůstávají běžné.
Agenti, postupy a šablony v jednom pracovním prostoru – 24hodinové demo zdarma.
Spustit demoObousměrná LSTM (BiLSTM) je rekurentní neuronová síť, která čte sekvenci dopředu i dozadu a oba pohledy kombinuje. Zohledňuje tak i kontext, který po každém slově následuje. Než převládly transformery, byla standardní volbou pro úlohy, jako je určování slovních druhů, rozpoznávání pojmenovaných entit a rozpoznávání řeči. U velmi dlouhých textů a velkých datových sad dnes obvykle dosahují lepších výsledků transformery.
Rekurentní neuronová síť zpracovává data postupně a předává vnitřní stav z každého kroku do dalšího – jakousi krátkodobou paměť. Hodí se proto pro sekvence, jako jsou text, řeč nebo časové řady, například k předpovědi dalšího slova nebo další hodnoty senzoru. Jednoduché RNN snadno zapomínají informace z dávné minulosti; varianty jako LSTM a GRU tento problém zmírňují. U jazykových modelů byly RNN do značné míry nahrazeny transformery.
Modelování sekvencí zahrnuje metody, které zpracovávají a předpovídají data v pevném pořadí, kde záleží na pozici každého prvku. Typickými sekvencemi jsou text, mluvená řeč, časové řady, například prodeje nebo hodnoty senzorů, a úseky DNA. Použití sahá od překladu a generování textu po rozpoznávání řeči a předpovědi prodeje. K tomu se využívaly skryté Markovovy modely a rekurentní sítě; dnes v jazyce dominují modely typu transformer.
Transformer je architektura neuronové sítě představená v roce 2017 ve výzkumné práci „Attention Is All You Need“. Jejím jádrem je mechanismus pozornosti: každé slovo se váží ve vztahu ke všem ostatním slovům v textu a výpočet lze efektivně paralelizovat. Transformery tvoří základ dnešních jazykových modelů, jako jsou GPT, Claude a BERT, a používají se také pro obraz a zvuk.
