Sanasto

Kaksisuuntainen LSTM

Mikä on Kaksisuuntainen LSTM?

Kaksisuuntainen LSTM (BiLSTM) on takaisinkytkeytyvä neuroverkko, joka lukee sekvenssin sekä eteen- että taaksepäin ja yhdistää nämä kaksi näkymää. Näin myös kunkin sanan jälkeinen konteksti otetaan huomioon. Ennen transformer-mallien valtakautta se oli vakiovalinta esimerkiksi sanaluokkien tunnistukseen, nimettyjen entiteettien tunnistukseen ja puheentunnistukseen. Hyvin pitkissä teksteissä ja suurissa aineistoissa transformer-mallit suoriutuvat nykyään yleensä paremmin.

Aiheet

Neuroverkot
Sekvenssimallit
NLP

Kokeile KI.ordoa

Agentit, työnkulut ja mallit yhdessä työtilassa – maksuton 24 tunnin demo.

Aloita demo

← Kaikki termit

Liittyvät termit

Long Short-Term Memory (LSTM)

Long Short-Term Memory (LSTM) on rekurrentin neuroverkon tyyppi, joka pystyy säilyttämään tietoa pitkien jaksojen yli. Niin kutsutut portit päättävät jokaisessa vaiheessa, mitä tallennetaan, unohdetaan tai tulostetaan, mikä lieventää häviävän gradientin ongelmaa. LSTM-verkot muovasivat monien vuosien ajan puheentunnistusta, kääntämistä ja aikasarjaennusteita. Kielenkäsittelyssä transformerit ovat suurelta osin korvanneet ne, mutta ne ovat edelleen yleisiä anturidatalle.

neuroverkot
jaksot
+1

Rekurrentti neuroverkko (RNN)

Rekurrentti neuroverkko käsittelee dataa järjestyksessä ja välittää sisäisen tilan vaiheesta toiseen – eräänlaisen lyhytkestoisen muistin. Tämä tekee siitä sopivan sekvensseille, kuten teksteille, puheelle tai aikasarjoille, esimerkiksi seuraavan sanan tai seuraavan anturilukeman ennustamiseen. Yksinkertaiset RNN:t unohtavat helposti kaukaa tulevaa tietoa; variantit, kuten LSTM ja GRU, lieventävät tätä. Kielimalleissa transformerit ovat suurelta osin syrjäyttäneet RNN:t.

neuroverkot
jaksot
+1

Sekvenssimallinnus

Sekvenssimallinnus kattaa menetelmät, jotka käsittelevät ja ennustavat dataa kiinteässä järjestyksessä, jossa kunkin alkion paikalla on merkitystä. Tyypillisiä sekvenssejä ovat teksti, puhuttu kieli, aikasarjat, kuten myynti tai anturilukemat, sekä DNA-jaksot. Sovellukset ulottuvat kääntämisestä ja tekstin tuottamisesta puheentunnistukseen ja myyntiennusteisiin. Tähän on käytetty piilomarkovmalleja ja rekurrentteja verkkoja; kielessä nykyään vallitsevat transformer-mallit.

jaksot
syväoppiminen
+1

Nimettyjen entiteettien tunnistus (NER)

Nimettyjen entiteettien tunnistus (NER) on luonnollisen kielen käsittelyn tekniikka, joka löytää tekstistä henkilöiden, yritysten ja paikkojen nimet sekä päivämäärät tai summat ja liittää kunkin johonkin luokkaan. Se muuttaa vapaan tekstin rakenteiseksi dataksi. Esimerkki: lähettäjän yritys, yhteyshenkilö, toimituspäivä ja laskun summa poimitaan automaattisesti sähköpostista ja siirretään CRM-järjestelmään.

NLP
Tiedonpoiminta
+1

Malli