En dold markovmodell (hidden Markov model, HMM) är en statistisk modell för sekvenser där de faktiska tillstånden är dolda och bara kan härledas ur observerbara signaler. Den beskriver sannolikheten för att ett tillstånd följer på ett annat och för att varje tillstånd ger en viss observation. HMM var länge standard inom taligenkänning och ordklasstaggning; i dag används de fortfarande, till exempel inom bioinformatik och tidsserieanalys.
Sekvensmodellering omfattar metoder som bearbetar och förutsäger data i en fast ordning, där varje elements position spelar roll. Typiska sekvenser är text, talat språk, tidsserier som försäljning eller sensorvärden, och DNA-segment. Tillämpningarna sträcker sig från översättning och textgenerering till taligenkänning och försäljningsprognoser. Dolda Markovmodeller och rekurrenta nätverk har använts för detta; i dag dominerar transformermodeller för språk.
Ordklasstaggning tilldelar automatiskt varje ord i en mening dess grammatiska kategori, som substantiv, verb, adjektiv eller preposition. Eftersom många ord är tvetydiga (”plan” som substantiv eller adjektiv, ”fast” som adjektiv eller adverb) tar metoderna hänsyn till meningens sammanhang. Ordklasstaggning är ett klassiskt förbehandlingssteg för syntaktisk analys, informationsextraktion eller stavningskontroll och erbjuds av bibliotek som spaCy och NLTK.
Ett rekurrent neuralt nätverk bearbetar data i ordning och för över ett internt tillstånd från varje steg till nästa – ett slags korttidsminne. Det gör det lämpligt för sekvenser som text, tal eller tidsserier, till exempel för att förutsäga nästa ord eller nästa sensorvärde. Enkla RNN glömmer lätt information som ligger långt tillbaka; varianter som LSTM och GRU lindrar detta. För språkmodeller har RNN till stor del ersatts av transformers.
Taligenkänning, även kallad ASR (automatic speech recognition), omvandlar automatiskt talat språk till skriven text. Moderna system använder neurala nätverk som tränats på stora mängder ljudinspelningar och klarar accenter och bakgrundsljud hyfsat bra. Tillämpningar är diktering, undertexter, röstassistenter och transkribering av möten och kundsamtal. Facktermer, egennamn och dålig ljudkvalitet är fortfarande vanliga felkällor.
