Slovar pojmov

Modeliranje zaporedij

Kaj je Modeliranje zaporedij?

Modeliranje zaporedij zajema metode, ki obdelujejo in napovedujejo podatke v določenem vrstnem redu, kjer je pomemben položaj vsakega elementa. Tipična zaporedja so besedilo, govorjeni jezik, časovne vrste, kot so prodaja ali meritve senzorjev, in odseki DNK. Uporabe segajo od prevajanja in generiranja besedil do prepoznavanja govora in napovedovanja prodaje. Za to so se uporabljali skriti Markovljevi modeli in ponavljajoče se mreže; danes pri jeziku prevladujejo modeli transformer.

Teme

zaporedja
globoko učenje
časovne vrste

Preizkusite KI.ordo

Agenti, poteki dela in predloge v enem delovnem prostoru – brezplačna 24-urna predstavitev.

Začni predstavitev

← Vsi pojmi

Sorodni pojmi

Ponavljajoča se nevronska mreža (RNN)

Ponavljajoča se nevronska mreža obdeluje podatke po vrsti in notranje stanje prenaša iz koraka v korak – nekakšen kratkoročni spomin. Zato je primerna za zaporedja, kot so besedilo, govor ali časovne vrste, na primer za napoved naslednje besede ali naslednje meritve senzorja. Preproste mreže RNN zlahka pozabijo informacije iz daljne preteklosti; različice, kot sta LSTM in GRU, to omilijo. Pri jezikovnih modelih so RNN večinoma nadomestili transformerji.

nevronske mreže
zaporedja
+1

Long Short-Term Memory (LSTM)

Dolgi kratkoročni spomin (LSTM) je vrsta rekurentne nevronske mreže, ki lahko ohranja informacije skozi dolga zaporedja. Tako imenovana vrata pri vsakem koraku odločajo, kaj shraniti, pozabiti ali izpisati, kar ublaži problem izginjajočega gradienta. Dolga leta so LSTM-ji oblikovali prepoznavanje govora, prevajanje in napovedovanje časovnih vrst. Pri obdelavi jezika so jih večinoma nadomestili transformerji, vendar ostajajo pogosti pri podatkih senzorjev.

nevronske mreže
zaporedja
+1

Transformer

Transformer je arhitektura nevronskih mrež, predstavljena leta 2017 v raziskovalnem članku „Attention Is All You Need“. Jedro je mehanizem pozornosti: vsaka beseda se pretehta glede na vse druge besede v besedilu, izračun pa je mogoče učinkovito vzporediti. Transformerji so podlaga današnjih jezikovnih modelov, kot so GPT, Claude in BERT, uporabljajo pa se tudi za slike in zvok.

Arhitektura
Globoko učenje
+1

Skriti Markovljev model (HMM)

Skriti Markovljev model (hidden Markov model, HMM) je statistični model za zaporedja, pri katerem so dejanska stanja skrita in jih je mogoče sklepati le iz opazljivih signalov. Opisuje verjetnost, da eno stanje sledi drugemu in da vsako stanje ustvari določeno opazovanje. HMM-ji so bili dolgo standard pri prepoznavanju govora in označevanju besednih vrst; danes se še vedno uporabljajo na primer v bioinformatiki in analizi časovnih vrst.

Statistika
Sekvenčni modeli
+1