Sanasto

Long Short-Term Memory (LSTM)

Mikä on Long Short-Term Memory (LSTM)?

Long Short-Term Memory (LSTM) on rekurrentin neuroverkon tyyppi, joka pystyy säilyttämään tietoa pitkien jaksojen yli. Niin kutsutut portit päättävät jokaisessa vaiheessa, mitä tallennetaan, unohdetaan tai tulostetaan, mikä lieventää häviävän gradientin ongelmaa. LSTM-verkot muovasivat monien vuosien ajan puheentunnistusta, kääntämistä ja aikasarjaennusteita. Kielenkäsittelyssä transformerit ovat suurelta osin korvanneet ne, mutta ne ovat edelleen yleisiä anturidatalle.

Aiheet

neuroverkot
jaksot
syväoppiminen

Kokeile KI.ordoa

Agentit, työnkulut ja mallit yhdessä työtilassa – maksuton 24 tunnin demo.

Aloita demo

← Kaikki termit

Liittyvät termit

Kaksisuuntainen LSTM

Kaksisuuntainen LSTM (BiLSTM) on takaisinkytkeytyvä neuroverkko, joka lukee sekvenssin sekä eteen- että taaksepäin ja yhdistää nämä kaksi näkymää. Näin myös kunkin sanan jälkeinen konteksti otetaan huomioon. Ennen transformer-mallien valtakautta se oli vakiovalinta esimerkiksi sanaluokkien tunnistukseen, nimettyjen entiteettien tunnistukseen ja puheentunnistukseen. Hyvin pitkissä teksteissä ja suurissa aineistoissa transformer-mallit suoriutuvat nykyään yleensä paremmin.

Neuroverkot
Sekvenssimallit
+1

Rekurrentti neuroverkko (RNN)

Rekurrentti neuroverkko käsittelee dataa järjestyksessä ja välittää sisäisen tilan vaiheesta toiseen – eräänlaisen lyhytkestoisen muistin. Tämä tekee siitä sopivan sekvensseille, kuten teksteille, puheelle tai aikasarjoille, esimerkiksi seuraavan sanan tai seuraavan anturilukeman ennustamiseen. Yksinkertaiset RNN:t unohtavat helposti kaukaa tulevaa tietoa; variantit, kuten LSTM ja GRU, lieventävät tätä. Kielimalleissa transformerit ovat suurelta osin syrjäyttäneet RNN:t.

neuroverkot
jaksot
+1

Sekvenssimallinnus

Sekvenssimallinnus kattaa menetelmät, jotka käsittelevät ja ennustavat dataa kiinteässä järjestyksessä, jossa kunkin alkion paikalla on merkitystä. Tyypillisiä sekvenssejä ovat teksti, puhuttu kieli, aikasarjat, kuten myynti tai anturilukemat, sekä DNA-jaksot. Sovellukset ulottuvat kääntämisestä ja tekstin tuottamisesta puheentunnistukseen ja myyntiennusteisiin. Tähän on käytetty piilomarkovmalleja ja rekurrentteja verkkoja; kielessä nykyään vallitsevat transformer-mallit.

jaksot
syväoppiminen
+1

Transformer

Transformer on neuroverkkoarkkitehtuuri, joka esiteltiin vuonna 2017 tutkimusartikkelissa ”Attention Is All You Need”. Sen ytimessä on huomiomekanismi: jokaista sanaa painotetaan suhteessa kaikkiin muihin tekstin sanoihin, ja laskenta voidaan rinnakkaistaa tehokkaasti. Transformerit ovat nykyisten kielimallien, kuten GPT:n, Clauden ja BERTin, perusta, ja niitä käytetään myös kuvissa ja äänessä.

Arkkitehtuuri
Syväoppiminen
+1