Glossarju

Long Short-Term Memory (LSTM)

X'inhu Long Short-Term Memory (LSTM)?

Long Short-Term Memory (LSTM) huwa tip ta' netwerk newrali rikorrenti li jista' jżomm informazzjoni tul sekwenzi twal. Hekk imsejħa gates jiddeċiedu f'kull pass x'għandu jinħażen, jinsa jew joħroġ, li jtaffi l-problema tal-vanishing gradient. Għal ħafna snin l-LSTMs iffurmaw ir-rikonoxximent tad-diskors, it-traduzzjoni u t-tbassir tas-serje taż-żmien. Fl-ipproċessar tal-lingwa ġew fil-biċċa l-kbira sostitwiti minn transformers, iżda jibqgħu komuni għal data ta' sensuri.

Suġġetti

netwerks newrali
sekwenzi
tagħlim profond

Ipprova KI.ordo

Aġenti, flussi tax-xogħol u mudelli fi spazju tax-xogħol wieħed – demo b'xejn għal 24 siegħa.

Ibda d-demo

← It-termini kollha

Termini relatati

LSTM bidirezzjonali

LSTM bidirezzjonali (BiLSTM) huwa netwerk newrali rikorrenti li jaqra sekwenza kemm 'il quddiem kif ukoll lura u jgħaqqad iż-żewġ perspettivi. Dan ifisser li jitqies ukoll il-kuntest li jiġi wara kull kelma. Qabel ma ħadu f'idejhom it-transformers, kien għażla standard għal kompiti bħall-immarkar tal-partijiet tad-diskors, ir-rikonoxximent tal-entitajiet bl-isem u r-rikonoxximent tat-taħdit. Għal testi twal ħafna u settijiet kbar ta' data, it-transformers issa normalment jagħtu riżultati aħjar.

Netwerks newrali
Mudelli tas-sekwenzi
+1

Netwerk newrali rikorrenti (RNN)

Netwerk newrali rikorrenti jipproċessa d-data bl-ordni u jgħaddi stat intern minn kull pass għal li jmiss – tip ta' memorja ta' żmien qasir. Dan jagħmlu adattat għal sekwenzi bħal test, diskors jew serje taż-żmien, per eżempju biex ibassar il-kelma li jmiss jew il-qari li jmiss ta' sensor. RNNs sempliċi faċilment jinsew informazzjoni minn ’il bogħod lura; varjanti bħal LSTM u GRU inaqqsu dan. Għall-mudelli lingwistiċi, l-RNNs ġew f'ħafna każijiet issostitwiti mit-transformers.

netwerks newrali
sekwenzi
+1

Mudellar tas-sekwenzi

Il-mudellar tas-sekwenzi jkopri metodi li jipproċessaw u jbassru data f'ordni fissa, fejn il-pożizzjoni ta' kull element hija importanti. Sekwenzi tipiċi huma test, lingwa mitkellma, serje taż-żmien bħal bejgħ jew qari ta' senseurs, u segmenti tad-DNA. L-applikazzjonijiet imorru mit-traduzzjoni u l-ġenerazzjoni tat-test sar-rikonoxximent tad-diskors u t-tbassir tal-bejgħ. Għal dan intużaw mudelli moħbija ta' Markov u netwerks rikorrenti; illum il-mudelli transformer jiddominaw għal-lingwa.

sekwenzi
tagħlim profond
+1

Transformer

It-transformer huwa arkitettura ta' netwerk newrali introdotta fl-2017 fid-dokument ta' riċerka “Attention Is All You Need”. Fil-qalba tiegħu hemm il-mekkaniżmu tal-attenzjoni: kull kelma tiġi ponderata b'relazzjoni mal-kliem l-ieħor kollu f'test, u l-komputazzjoni tista' titwettaq b'mod parallel b'mod effiċjenti. It-transformers isostnu l-mudelli lingwistiċi tal-lum bħal GPT, Claude u BERT u jintużaw ukoll għall-immaġini u l-awdjo.

Arkitettura
Tagħlim profond
+1