Sanasto

Sekvenssimallinnus

Mikä on Sekvenssimallinnus?

Sekvenssimallinnus kattaa menetelmät, jotka käsittelevät ja ennustavat dataa kiinteässä järjestyksessä, jossa kunkin alkion paikalla on merkitystä. Tyypillisiä sekvenssejä ovat teksti, puhuttu kieli, aikasarjat, kuten myynti tai anturilukemat, sekä DNA-jaksot. Sovellukset ulottuvat kääntämisestä ja tekstin tuottamisesta puheentunnistukseen ja myyntiennusteisiin. Tähän on käytetty piilomarkovmalleja ja rekurrentteja verkkoja; kielessä nykyään vallitsevat transformer-mallit.

Aiheet

jaksot
syväoppiminen
aikasarjat

Kokeile KI.ordoa

Agentit, työnkulut ja mallit yhdessä työtilassa – maksuton 24 tunnin demo.

Aloita demo

← Kaikki termit

Liittyvät termit

Rekurrentti neuroverkko (RNN)

Rekurrentti neuroverkko käsittelee dataa järjestyksessä ja välittää sisäisen tilan vaiheesta toiseen – eräänlaisen lyhytkestoisen muistin. Tämä tekee siitä sopivan sekvensseille, kuten teksteille, puheelle tai aikasarjoille, esimerkiksi seuraavan sanan tai seuraavan anturilukeman ennustamiseen. Yksinkertaiset RNN:t unohtavat helposti kaukaa tulevaa tietoa; variantit, kuten LSTM ja GRU, lieventävät tätä. Kielimalleissa transformerit ovat suurelta osin syrjäyttäneet RNN:t.

neuroverkot
jaksot
+1

Long Short-Term Memory (LSTM)

Long Short-Term Memory (LSTM) on rekurrentin neuroverkon tyyppi, joka pystyy säilyttämään tietoa pitkien jaksojen yli. Niin kutsutut portit päättävät jokaisessa vaiheessa, mitä tallennetaan, unohdetaan tai tulostetaan, mikä lieventää häviävän gradientin ongelmaa. LSTM-verkot muovasivat monien vuosien ajan puheentunnistusta, kääntämistä ja aikasarjaennusteita. Kielenkäsittelyssä transformerit ovat suurelta osin korvanneet ne, mutta ne ovat edelleen yleisiä anturidatalle.

neuroverkot
jaksot
+1

Transformer

Transformer on neuroverkkoarkkitehtuuri, joka esiteltiin vuonna 2017 tutkimusartikkelissa ”Attention Is All You Need”. Sen ytimessä on huomiomekanismi: jokaista sanaa painotetaan suhteessa kaikkiin muihin tekstin sanoihin, ja laskenta voidaan rinnakkaistaa tehokkaasti. Transformerit ovat nykyisten kielimallien, kuten GPT:n, Clauden ja BERTin, perusta, ja niitä käytetään myös kuvissa ja äänessä.

Arkkitehtuuri
Syväoppiminen
+1

Piilotettu Markovin malli (HMM)

Piilotettu Markovin malli (HMM) on tilastollinen malli jonoille, joissa varsinaiset tilat ovat piilossa ja ne voidaan päätellä vain havaittavista signaaleista. Se kuvaa todennäköisyyttä, jolla yksi tila seuraa toista ja jolla kukin tila tuottaa tietyn havainnon. HMM-mallit olivat pitkään puheentunnistuksen ja sanaluokkamerkinnän vakiomenetelmä; nykyään niitä käytetään yhä esimerkiksi bioinformatiikassa ja aikasarja-analyysissä.

Tilastotiede
Sekvenssimallit
+1