Slēptais Markova modelis (HMM) ir statistisks modelis secībām, kurā faktiskie stāvokļi ir slēpti un tos var secināt tikai no novērojamiem signāliem. Tas apraksta varbūtību, ka viens stāvoklis seko citam un ka katrs stāvoklis rada noteiktu novērojumu. HMM ilgu laiku bija standarts runas atpazīšanā un vārdšķiru marķēšanā; mūsdienās tos joprojām izmanto, piemēram, bioinformātikā un laikrindu analīzē.
Secību modelēšana aptver metodes, kas apstrādā un prognozē datus noteiktā secībā, kur katra elementa pozīcijai ir nozīme. Tipiskas secības ir teksts, runāta valoda, laika rindas, piemēram, pārdošanas apjomi vai sensoru rādījumi, un DNS posmi. Pielietojumi ir no tulkošanas un teksta ģenerēšanas līdz runas atpazīšanai un pārdošanas prognozēšanai. Šim nolūkam ir izmantoti slēptie Markova modeļi un rekurentie tīkli; mūsdienās valodai dominē transformeru modeļi.
Vārdšķiru marķēšana automātiski piešķir katram teikuma vārdam tā gramatisko kategoriju, piemēram, lietvārds, darbības vārds, īpašības vārds vai prievārds. Tā kā daudzi vārdi ir neviennozīmīgi („book” kā lietvārds vai darbības vārds, „light” kā īpašības vārds vai lietvārds), metodes ņem vērā teikuma kontekstu. POS marķēšana ir klasisks priekšapstrādes solis sintaktiskajai analīzei, informācijas izgūšanai vai pareizrakstības pārbaudei, un to piedāvā bibliotēkas, piemēram, spaCy un NLTK.
Rekurentais neironu tīkls apstrādā datus secīgi un nodod iekšējo stāvokli no viena soļa nākamajam — sava veida īstermiņa atmiņu. Tāpēc tas ir piemērots secībām, piemēram, tekstam, runai vai laika rindām, lai prognozētu, piemēram, nākamo vārdu vai nākamo sensora rādījumu. Vienkārši RNN viegli aizmirst tālu pagātnes informāciju; varianti, piemēram, LSTM un GRU, šo problēmu mazina. Valodas modeļiem RNN lielā mērā ir aizstājuši transformeri.
Runas atpazīšana, ko sauc arī par ASR (automatic speech recognition), automātiski pārvērš runāto valodu rakstītā tekstā. Mūsdienu sistēmas izmanto neironu tīklus, kas apmācīti ar lielu daudzumu audioierakstu, un samērā labi tiek galā ar akcentiem un fona troksni. Pielietojumi ir diktēšana, subtitri, balss asistenti un sanāksmju un klientu zvanu transkribēšana. Tehniskie termini, īpašvārdi un slikta audio kvalitāte joprojām ir biežs kļūdu avots.
