Secību modelēšana aptver metodes, kas apstrādā un prognozē datus noteiktā secībā, kur katra elementa pozīcijai ir nozīme. Tipiskas secības ir teksts, runāta valoda, laika rindas, piemēram, pārdošanas apjomi vai sensoru rādījumi, un DNS posmi. Pielietojumi ir no tulkošanas un teksta ģenerēšanas līdz runas atpazīšanai un pārdošanas prognozēšanai. Šim nolūkam ir izmantoti slēptie Markova modeļi un rekurentie tīkli; mūsdienās valodai dominē transformeru modeļi.
Rekurentais neironu tīkls apstrādā datus secīgi un nodod iekšējo stāvokli no viena soļa nākamajam — sava veida īstermiņa atmiņu. Tāpēc tas ir piemērots secībām, piemēram, tekstam, runai vai laika rindām, lai prognozētu, piemēram, nākamo vārdu vai nākamo sensora rādījumu. Vienkārši RNN viegli aizmirst tālu pagātnes informāciju; varianti, piemēram, LSTM un GRU, šo problēmu mazina. Valodas modeļiem RNN lielā mērā ir aizstājuši transformeri.
Ilgtermiņa īstermiņa atmiņa (LSTM) ir rekurento neironu tīklu veids, kas spēj saglabāt informāciju garās secībās. Tā sauktie vārti katrā solī izlemj, ko saglabāt, aizmirst vai izvadīt, un tas mazina izzūdošā gradienta problēmu. Daudzus gadus LSTM veidoja runas atpazīšanu, tulkošanu un laikrindu prognozēšanu. Valodas apstrādē tos lielā mērā aizstājuši transformeri, taču tie joprojām ir izplatīti sensoru datiem.
Transformers ir neironu tīklu arhitektūra, kas ieviesta 2017. gadā pētījumā „Attention Is All You Need”. Tās kodols ir uzmanības mehānisms: katrs vārds tiek svērts attiecībā pret visiem pārējiem teksta vārdiem, un aprēķinu var efektīvi paralelizēt. Transformeri ir mūsdienu valodas modeļu, piemēram, GPT, Claude un BERT, pamatā, un tos izmanto arī attēliem un audio.
Slēptais Markova modelis (HMM) ir statistisks modelis secībām, kurā faktiskie stāvokļi ir slēpti un tos var secināt tikai no novērojamiem signāliem. Tas apraksta varbūtību, ka viens stāvoklis seko citam un ka katrs stāvoklis rada noteiktu novērojumu. HMM ilgu laiku bija standarts runas atpazīšanā un vārdšķiru marķēšanā; mūsdienās tos joprojām izmanto, piemēram, bioinformātikā un laikrindu analīzē.
