Fogalomtár

Long Short-Term Memory (LSTM)

Mi a(z) Long Short-Term Memory (LSTM)?

A hosszú rövid távú memória (Long Short-Term Memory, LSTM) a rekurrens neurális hálók egy típusa, amely hosszú sorozatokon át képes megőrizni az információt. Az úgynevezett kapuk minden lépésben eldöntik, mit tároljon, felejtsen el vagy adjon ki, ami enyhíti az eltűnő gradiens problémáját. Az LSTM-ek éveken át meghatározták a beszédfelismerést, a fordítást és az idősor-előrejelzést. A nyelvfeldolgozásban nagyrészt a transzformerek váltották fel őket, de az érzékelőadatoknál továbbra is gyakoriak.

Témák

neurális hálók
sorozatok
mélytanulás

Próbálja ki a KI.ordót

Ügynökök, munkafolyamatok és sablonok egyetlen munkaterületen – ingyenes, 24 órás demó.

Demó indítása

← Minden fogalom

Kapcsolódó fogalmak

Kétirányú LSTM

A kétirányú LSTM (BiLSTM) olyan rekurrens neurális hálózat, amely egy sorozatot előre és visszafelé is beolvas, és a két nézőpontot egyesíti. Így az egyes szavakat követő kontextust is figyelembe veszi. Mielőtt a transzformerek átvették volna a vezető szerepet, ez volt a szokásos választás olyan feladatokhoz, mint a szófaji címkézés, a névelem-felismerés és a beszédfelismerés. Nagyon hosszú szövegek és nagy adathalmazok esetén ma általában a transzformerek teljesítenek jobban.

Neurális hálózatok
Szekvenciamodellek
+1

Rekurrens neurális hálózat (RNN)

A rekurrens neurális hálózat sorrendben dolgozza fel az adatokat, és egy belső állapotot ad át lépésről lépésre – egyfajta rövid távú memóriát. Ezért alkalmas olyan sorozatokra, mint a szöveg, a beszéd vagy az idősorok, például a következő szó vagy a következő szenzorérték előrejelzésére. Az egyszerű RNN-ek könnyen elfelejtik a távolabbi információt; az olyan változatok, mint az LSTM és a GRU, enyhítik ezt. A nyelvi modelleknél az RNN-eket nagyrészt felváltották a transzformerek.

neurális hálók
sorozatok
+1

Sorozatmodellezés

A sorozatmodellezés olyan módszereket foglal magában, amelyek rögzített sorrendű adatokat dolgoznak fel és jeleznek előre, ahol az egyes elemek helye számít. Tipikus sorozatok a szöveg, a beszélt nyelv, az idősorok – például értékesítési vagy szenzoradatok – és a DNS-szakaszok. Az alkalmazások a fordítástól és a szöveggenerálástól a beszédfelismerésen át az értékesítési előrejelzésig terjednek. Erre rejtett Markov-modelleket és rekurrens hálózatokat használtak; ma a nyelvnél a transzformer-modellek dominálnak.

sorozatok
mélytanulás
+1

Transformer

A transzformer egy neurális hálózati architektúra, amelyet 2017-ben az „Attention Is All You Need” kutatási cikkben mutattak be. Középpontjában a figyelemmechanizmus áll: a szöveg minden szavát a többi szóhoz viszonyítva súlyozza, és a számítás hatékonyan párhuzamosítható. A transzformerek a mai nyelvi modellek – például a GPT, a Claude és a BERT – alapját képezik, és képekhez, valamint hanghoz is használják őket.

architektúra
Mélytanulás
+1