Modelovanie sekvencií zahŕňa metódy, ktoré spracúvajú a predpovedajú dáta v pevnom poradí, kde záleží na pozícii každého prvku. Typickými sekvenciami sú text, hovorený jazyk, časové rady, ako sú predaje alebo hodnoty zo senzorov, a úseky DNA. Použitia siahajú od prekladu a generovania textu až po rozpoznávanie reči a predpovedanie predaja. Na to sa používali skryté Markovove modely a rekurentné siete; dnes v oblasti jazyka dominujú modely transformer.
Agenti, postupy a šablóny v jednom pracovnom priestore – bezplatné 24-hodinové demo.
Spustiť demoRekurentná neurónová sieť spracúva dáta po poradí a z každého kroku odovzdáva vnútorný stav do ďalšieho – akúsi krátkodobú pamäť. Vďaka tomu je vhodná na postupnosti, ako sú text, reč alebo časové rady, napríklad na predpoveď ďalšieho slova alebo ďalšej hodnoty zo senzora. Jednoduché siete RNN ľahko zabúdajú informácie z ďaleka; varianty ako LSTM a GRU to zmierňujú. V jazykových modeloch boli siete RNN z veľkej časti nahradené transformermi.
Long Short-Term Memory (LSTM) je typ rekurentnej neurónovej siete, ktorá si dokáže zachovať informácie naprieč dlhými postupnosťami. Takzvané brány rozhodujú v každom kroku, čo uložiť, zabudnúť alebo odovzdať, čím zmierňujú problém miznúceho gradientu. Mnoho rokov LSTM formovali rozpoznávanie reči, preklad a predpovedanie časových radov. Pri spracovaní jazyka ich z veľkej časti nahradili transformery, no pri údajoch zo senzorov zostávajú bežné.
Transformer je architektúra neurónových sietí, ktorá bola predstavená v roku 2017 vo výskumnej práci „Attention Is All You Need“. Jej jadrom je mechanizmus pozornosti: každé slovo sa váži vo vzťahu ku všetkým ostatným slovám v texte a výpočet sa dá efektívne paralelizovať. Transformery tvoria základ dnešných jazykových modelov, ako sú GPT, Claude a BERT, a používajú sa aj pri obrázkoch a zvuku.
Skrytý Markovov model (HMM, hidden Markov model) je štatistický model pre postupnosti, v ktorom sú skutočné stavy skryté a dajú sa odvodiť len z pozorovateľných signálov. Opisuje pravdepodobnosť, že po jednom stave nasleduje iný, a že každý stav vytvorí dané pozorovanie. HMM boli dlho štandardom v rozpoznávaní reči a priraďovaní slovných druhov; dnes sa ešte používajú napríklad v bioinformatike a analýze časových radov.
