En skjult Markov-model (hidden Markov model, HMM) er en statistisk model for sekvenser, hvor de egentlige tilstande er skjulte og kun kan udledes af observerbare signaler. Den beskriver sandsynligheden for, at én tilstand følger efter en anden, og for at hver tilstand giver en bestemt observation. HMM'er var længe standard inden for talegenkendelse og ordklassetagging; i dag bruges de stadig f.eks. i bioinformatik og tidsserieanalyse.
Sekvensmodellering omfatter metoder, der behandler og forudsiger data i en fast rækkefølge, hvor hvert elements position har betydning. Typiske sekvenser er tekst, talt sprog, tidsserier som salg eller sensormålinger og DNA-segmenter. Anvendelserne spænder fra oversættelse og tekstgenerering til talegenkendelse og salgsprognoser. Skjulte Markov-modeller og rekurrente netværk er blevet brugt til det; i dag dominerer transformer-modeller inden for sprog.
Ordklassemærkning tildeler automatisk hvert ord i en sætning dets grammatiske kategori, f.eks. navneord, udsagnsord, tillægsord eller forholdsord. Fordi mange ord er flertydige (»kort« som navneord eller tillægsord, »lys« som navneord eller tillægsord), tager metoderne højde for sætningens sammenhæng. POS-tagging er et klassisk forbehandlingstrin til parsing, informationsudtræk eller stavekontrol og tilbydes af biblioteker som spaCy og NLTK.
Et recurrent neural network behandler data i rækkefølge og giver en intern tilstand videre fra hvert trin til det næste – en slags korttidshukommelse. Det gør det velegnet til sekvenser som tekst, tale eller tidsserier, f.eks. til at forudsige det næste ord eller den næste sensormåling. Enkle RNN'er glemmer let information langt tilbage; varianter som LSTM og GRU afhjælper det. For sprogmodeller er RNN'er stort set afløst af transformere.
Talegenkendelse, også kaldet ASR (automatic speech recognition), omdanner automatisk talt sprog til skrevet tekst. Moderne systemer bruger neurale netværk trænet på store mængder lydoptagelser og håndterer accenter og baggrundsstøj nogenlunde godt. Anvendelserne omfatter diktering, undertekster, stemmeassistenter og transskription af møder og kundesamtaler. Fagudtryk, egennavne og dårlig lydkvalitet er stadig almindelige fejlkilder.
