Rekurentná neurónová sieť spracúva dáta po poradí a z každého kroku odovzdáva vnútorný stav do ďalšieho – akúsi krátkodobú pamäť. Vďaka tomu je vhodná na postupnosti, ako sú text, reč alebo časové rady, napríklad na predpoveď ďalšieho slova alebo ďalšej hodnoty zo senzora. Jednoduché siete RNN ľahko zabúdajú informácie z ďaleka; varianty ako LSTM a GRU to zmierňujú. V jazykových modeloch boli siete RNN z veľkej časti nahradené transformermi.
Agenti, postupy a šablóny v jednom pracovnom priestore – bezplatné 24-hodinové demo.
Spustiť demoLong Short-Term Memory (LSTM) je typ rekurentnej neurónovej siete, ktorá si dokáže zachovať informácie naprieč dlhými postupnosťami. Takzvané brány rozhodujú v každom kroku, čo uložiť, zabudnúť alebo odovzdať, čím zmierňujú problém miznúceho gradientu. Mnoho rokov LSTM formovali rozpoznávanie reči, preklad a predpovedanie časových radov. Pri spracovaní jazyka ich z veľkej časti nahradili transformery, no pri údajoch zo senzorov zostávajú bežné.
Obojsmerná LSTM (BiLSTM) je rekurentná neurónová sieť, ktorá číta sekvenciu dopredu aj dozadu a oba pohľady spája. Zohľadňuje sa tak aj kontext, ktorý po každom slove nasleduje. Predtým, ako ich nahradili transformery, bola štandardnou voľbou pre úlohy ako určovanie slovných druhov, rozpoznávanie pomenovaných entít a rozpoznávanie reči. Pri veľmi dlhých textoch a veľkých súboroch údajov dnes zvyčajne dosahujú lepšie výsledky transformery.
Modelovanie sekvencií zahŕňa metódy, ktoré spracúvajú a predpovedajú dáta v pevnom poradí, kde záleží na pozícii každého prvku. Typickými sekvenciami sú text, hovorený jazyk, časové rady, ako sú predaje alebo hodnoty zo senzorov, a úseky DNA. Použitia siahajú od prekladu a generovania textu až po rozpoznávanie reči a predpovedanie predaja. Na to sa používali skryté Markovove modely a rekurentné siete; dnes v oblasti jazyka dominujú modely transformer.
Transformer je architektúra neurónových sietí, ktorá bola predstavená v roku 2017 vo výskumnej práci „Attention Is All You Need“. Jej jadrom je mechanizmus pozornosti: každé slovo sa váži vo vzťahu ku všetkým ostatným slovám v texte a výpočet sa dá efektívne paralelizovať. Transformery tvoria základ dnešných jazykových modelov, ako sú GPT, Claude a BERT, a používajú sa aj pri obrázkoch a zvuku.
