Obojsmerná LSTM (BiLSTM) je rekurentná neurónová sieť, ktorá číta sekvenciu dopredu aj dozadu a oba pohľady spája. Zohľadňuje sa tak aj kontext, ktorý po každom slove nasleduje. Predtým, ako ich nahradili transformery, bola štandardnou voľbou pre úlohy ako určovanie slovných druhov, rozpoznávanie pomenovaných entít a rozpoznávanie reči. Pri veľmi dlhých textoch a veľkých súboroch údajov dnes zvyčajne dosahujú lepšie výsledky transformery.
Agenti, postupy a šablóny v jednom pracovnom priestore – bezplatné 24-hodinové demo.
Spustiť demoLong Short-Term Memory (LSTM) je typ rekurentnej neurónovej siete, ktorá si dokáže zachovať informácie naprieč dlhými postupnosťami. Takzvané brány rozhodujú v každom kroku, čo uložiť, zabudnúť alebo odovzdať, čím zmierňujú problém miznúceho gradientu. Mnoho rokov LSTM formovali rozpoznávanie reči, preklad a predpovedanie časových radov. Pri spracovaní jazyka ich z veľkej časti nahradili transformery, no pri údajoch zo senzorov zostávajú bežné.
Rekurentná neurónová sieť spracúva dáta po poradí a z každého kroku odovzdáva vnútorný stav do ďalšieho – akúsi krátkodobú pamäť. Vďaka tomu je vhodná na postupnosti, ako sú text, reč alebo časové rady, napríklad na predpoveď ďalšieho slova alebo ďalšej hodnoty zo senzora. Jednoduché siete RNN ľahko zabúdajú informácie z ďaleka; varianty ako LSTM a GRU to zmierňujú. V jazykových modeloch boli siete RNN z veľkej časti nahradené transformermi.
Modelovanie sekvencií zahŕňa metódy, ktoré spracúvajú a predpovedajú dáta v pevnom poradí, kde záleží na pozícii každého prvku. Typickými sekvenciami sú text, hovorený jazyk, časové rady, ako sú predaje alebo hodnoty zo senzorov, a úseky DNA. Použitia siahajú od prekladu a generovania textu až po rozpoznávanie reči a predpovedanie predaja. Na to sa používali skryté Markovove modely a rekurentné siete; dnes v oblasti jazyka dominujú modely transformer.
Rozpoznávanie pomenovaných entít (NER, named entity recognition) je technika spracovania prirodzeného jazyka, ktorá v texte nájde mená osôb, firiem a miest, ako aj dátumy alebo sumy, a každej priradí kategóriu. Mení voľný text na štruktúrované údaje. Príklad: z e-mailu sa automaticky vyberie firma odosielateľa, kontaktná osoba, dátum dodania a suma faktúry a prenesú sa do CRM.
