Un model Markov ascuns (HMM) este un model statistic pentru secvențe, în care stările reale sunt ascunse și pot fi deduse doar din semnale observabile. Descrie probabilitatea ca o stare să fie urmată de alta și ca fiecare stare să producă o anumită observație. HMM-urile au fost mult timp standardul în recunoașterea vorbirii și în etichetarea părților de vorbire; astăzi sunt încă folosite, de exemplu, în bioinformatică și în analiza seriilor de timp.
Agenți, fluxuri și șabloane într-un singur spațiu de lucru – demo gratuit de 24 de ore.
Porniți demo-ulModelarea secvențelor cuprinde metode care prelucrează și prezic date aflate într-o ordine fixă, în care poziția fiecărui element contează. Secvențele tipice sunt textul, limbajul vorbit, seriile de timp, precum vânzările sau valorile senzorilor, și segmentele de ADN. Aplicațiile merg de la traducere și generare de text până la recunoașterea vorbirii și prognoza vânzărilor. În acest scop au fost folosite modelele Markov ascunse și rețelele recurente; astăzi, pentru limbaj domină modelele de tip transformer.
Etichetarea părților de vorbire atribuie automat fiecărui cuvânt dintr-o propoziție categoria sa gramaticală, precum substantiv, verb, adjectiv sau prepoziție. Fiindcă multe cuvinte sunt ambigue („lucru” poate fi substantiv sau verb, „bine” poate fi adverb sau substantiv), metodele țin cont de contextul propoziției. Etichetarea POS este un pas clasic de preprocesare pentru analiza sintactică, extragerea de informații sau verificarea ortografică și este oferită de biblioteci precum spaCy și NLTK.
O rețea neuronală recurentă prelucrează datele în ordine și transmite o stare internă de la un pas la următorul – un fel de memorie pe termen scurt. Astfel este potrivită pentru secvențe precum text, vorbire sau serii de timp, de exemplu pentru a prezice următorul cuvânt sau următoarea valoare a unui senzor. RNN-urile simple uită ușor informațiile din urmă cu mult timp; variante precum LSTM și GRU atenuează această problemă. Pentru modelele lingvistice, RNN-urile au fost în mare parte înlocuite de transformere.
Recunoașterea vorbirii, numită și ASR (automatic speech recognition), transformă automat limbajul vorbit în text scris. Sistemele moderne folosesc rețele neuronale antrenate pe cantități mari de înregistrări audio și se descurcă relativ bine cu accentele și zgomotul de fond. Aplicațiile includ dictarea, subtitrarea, asistenții vocali și transcrierea ședințelor și a apelurilor cu clienți. Termenii tehnici, numele proprii și calitatea slabă a sunetului rămân surse frecvente de erori.
