Ilgtermiņa īstermiņa atmiņa (LSTM) ir rekurento neironu tīklu veids, kas spēj saglabāt informāciju garās secībās. Tā sauktie vārti katrā solī izlemj, ko saglabāt, aizmirst vai izvadīt, un tas mazina izzūdošā gradienta problēmu. Daudzus gadus LSTM veidoja runas atpazīšanu, tulkošanu un laikrindu prognozēšanu. Valodas apstrādē tos lielā mērā aizstājuši transformeri, taču tie joprojām ir izplatīti sensoru datiem.
Divvirzienu LSTM (BiLSTM) ir rekurents neironu tīkls, kas nolasa secību gan uz priekšu, gan atpakaļ un apvieno abus skatījumus. Tas nozīmē, ka tiek ņemts vērā arī konteksts, kas seko katram vārdam. Pirms transformeru izplatības tā bija standarta izvēle tādiem uzdevumiem kā vārdšķiru marķēšana, nosaukto entītiju atpazīšana un runas atpazīšana. Ļoti gariem tekstiem un lielām datu kopām transformeri tagad parasti darbojas labāk.
Rekurentais neironu tīkls apstrādā datus secīgi un nodod iekšējo stāvokli no viena soļa nākamajam — sava veida īstermiņa atmiņu. Tāpēc tas ir piemērots secībām, piemēram, tekstam, runai vai laika rindām, lai prognozētu, piemēram, nākamo vārdu vai nākamo sensora rādījumu. Vienkārši RNN viegli aizmirst tālu pagātnes informāciju; varianti, piemēram, LSTM un GRU, šo problēmu mazina. Valodas modeļiem RNN lielā mērā ir aizstājuši transformeri.
Secību modelēšana aptver metodes, kas apstrādā un prognozē datus noteiktā secībā, kur katra elementa pozīcijai ir nozīme. Tipiskas secības ir teksts, runāta valoda, laika rindas, piemēram, pārdošanas apjomi vai sensoru rādījumi, un DNS posmi. Pielietojumi ir no tulkošanas un teksta ģenerēšanas līdz runas atpazīšanai un pārdošanas prognozēšanai. Šim nolūkam ir izmantoti slēptie Markova modeļi un rekurentie tīkli; mūsdienās valodai dominē transformeru modeļi.
Transformers ir neironu tīklu arhitektūra, kas ieviesta 2017. gadā pētījumā „Attention Is All You Need”. Tās kodols ir uzmanības mehānisms: katrs vārds tiek svērts attiecībā pret visiem pārējiem teksta vārdiem, un aprēķinu var efektīvi paralelizēt. Transformeri ir mūsdienu valodas modeļu, piemēram, GPT, Claude un BERT, pamatā, un tos izmanto arī attēliem un audio.
