Obousměrná LSTM (BiLSTM) je rekurentní neuronová síť, která čte sekvenci dopředu i dozadu a oba pohledy kombinuje. Zohledňuje tak i kontext, který po každém slově následuje. Než převládly transformery, byla standardní volbou pro úlohy, jako je určování slovních druhů, rozpoznávání pojmenovaných entit a rozpoznávání řeči. U velmi dlouhých textů a velkých datových sad dnes obvykle dosahují lepších výsledků transformery.
Agenti, postupy a šablony v jednom pracovním prostoru – 24hodinové demo zdarma.
Spustit demoLong Short-Term Memory (LSTM) je typ rekurentní neuronové sítě, která dokáže uchovávat informace napříč dlouhými posloupnostmi. Tzv. brány v každém kroku rozhodují, co uložit, zapomenout nebo vydat, čímž se zmírňuje problém mizejícího gradientu. LSTM po mnoho let formovaly rozpoznávání řeči, překlad a předpovídání časových řad. Ve zpracování jazyka je z velké části nahradily transformery, ale u dat ze senzorů zůstávají běžné.
Rekurentní neuronová síť zpracovává data postupně a předává vnitřní stav z každého kroku do dalšího – jakousi krátkodobou paměť. Hodí se proto pro sekvence, jako jsou text, řeč nebo časové řady, například k předpovědi dalšího slova nebo další hodnoty senzoru. Jednoduché RNN snadno zapomínají informace z dávné minulosti; varianty jako LSTM a GRU tento problém zmírňují. U jazykových modelů byly RNN do značné míry nahrazeny transformery.
Modelování sekvencí zahrnuje metody, které zpracovávají a předpovídají data v pevném pořadí, kde záleží na pozici každého prvku. Typickými sekvencemi jsou text, mluvená řeč, časové řady, například prodeje nebo hodnoty senzorů, a úseky DNA. Použití sahá od překladu a generování textu po rozpoznávání řeči a předpovědi prodeje. K tomu se využívaly skryté Markovovy modely a rekurentní sítě; dnes v jazyce dominují modely typu transformer.
Rozpoznávání pojmenovaných entit (NER) je technika zpracování přirozeného jazyka, která v textu nachází jména osob, firem a míst i data nebo částky a každému přiřadí kategorii. Převádí volný text na strukturovaná data. Příklad: z e-mailu se automaticky vyextrahuje firma odesílatele, kontaktní osoba, datum dodání a částka faktury a přenesou se do CRM.
