Piilotettu Markovin malli (HMM) on tilastollinen malli jonoille, joissa varsinaiset tilat ovat piilossa ja ne voidaan päätellä vain havaittavista signaaleista. Se kuvaa todennäköisyyttä, jolla yksi tila seuraa toista ja jolla kukin tila tuottaa tietyn havainnon. HMM-mallit olivat pitkään puheentunnistuksen ja sanaluokkamerkinnän vakiomenetelmä; nykyään niitä käytetään yhä esimerkiksi bioinformatiikassa ja aikasarja-analyysissä.
Agentit, työnkulut ja mallit yhdessä työtilassa – maksuton 24 tunnin demo.
Aloita demoSekvenssimallinnus kattaa menetelmät, jotka käsittelevät ja ennustavat dataa kiinteässä järjestyksessä, jossa kunkin alkion paikalla on merkitystä. Tyypillisiä sekvenssejä ovat teksti, puhuttu kieli, aikasarjat, kuten myynti tai anturilukemat, sekä DNA-jaksot. Sovellukset ulottuvat kääntämisestä ja tekstin tuottamisesta puheentunnistukseen ja myyntiennusteisiin. Tähän on käytetty piilomarkovmalleja ja rekurrentteja verkkoja; kielessä nykyään vallitsevat transformer-mallit.
Sanaluokkien merkintä (part-of-speech tagging) liittää automaattisesti jokaiseen lauseen sanaan sen kieliopillisen luokan, kuten substantiivi, verbi, adjektiivi tai prepositio. Koska monet sanat ovat monitulkintaisia (esimerkiksi ”kuusi” numerona tai puuna), menetelmät huomioivat lauseyhteyden. POS-merkintä on klassinen esikäsittelyvaihe jäsennykselle, tiedonpoiminnalle tai oikoluvulle, ja sitä tarjoavat kirjastot, kuten spaCy ja NLTK.
Rekurrentti neuroverkko käsittelee dataa järjestyksessä ja välittää sisäisen tilan vaiheesta toiseen – eräänlaisen lyhytkestoisen muistin. Tämä tekee siitä sopivan sekvensseille, kuten teksteille, puheelle tai aikasarjoille, esimerkiksi seuraavan sanan tai seuraavan anturilukeman ennustamiseen. Yksinkertaiset RNN:t unohtavat helposti kaukaa tulevaa tietoa; variantit, kuten LSTM ja GRU, lieventävät tätä. Kielimalleissa transformerit ovat suurelta osin syrjäyttäneet RNN:t.
Puheentunnistus, jota kutsutaan myös ASR:ksi (automatic speech recognition), muuntaa puhutun kielen automaattisesti kirjoitetuksi tekstiksi. Nykyaikaiset järjestelmät käyttävät neuroverkkoja, jotka on opetettu suurilla äänitemäärillä, ja selviävät kohtuullisen hyvin aksenteista ja taustamelusta. Sovelluksia ovat sanelu, tekstitykset, ääniavustajat sekä kokousten ja asiakaspuheluiden litterointi. Ammattitermit, erisnimet ja huono äänenlaatu ovat edelleen yleisiä virhelähteitä.
