Sõnastik

Jadamodelleerimine

Mis on Jadamodelleerimine?

Jadamodelleerimine hõlmab meetodeid, mis töötlevad ja ennustavad kindlas järjekorras andmeid, kus iga elemendi asukoht loeb. Tüüpilised jadad on tekst, kõnekeel, aegread nagu müük või anduri näidud ning DNA lõigud. Rakendused ulatuvad tõlkest ja tekstigenereerimisest kõnetuvastuse ja müügiprognoosideni. Selleks on kasutatud varjatud Markovi mudeleid ja rekurrentseid võrke; tänapäeval domineerivad keele puhul transformer-mudelid.

Teemad

  • jadad
  • süvaõpe
  • aegread

Proovi KI.ordot

Agendid, töövood ja mallid ühes tööruumis – tasuta 24-tunnine demo.

Alusta demot
← Kõik terminid

Seotud terminid

Rekurrentne närvivõrk (RNN)

Rekurrentne närvivõrk töötleb andmeid järjest ja annab sisemise oleku igalt sammult järgmisele edasi – omamoodi lühimälu. See sobib selliste jadade jaoks nagu tekst, kõne või aegread, näiteks järgmise sõna või järgmise anduri näidu ennustamiseks. Lihtsad RNN-id unustavad kaugelt tulnud teabe kergesti; variandid nagu LSTM ja GRU leevendavad seda. Keelemudelite puhul on RNN-id suuresti asendunud transformer-mudelitega.

  • närvivõrgud
  • jadad
  • +1

Long Short-Term Memory (LSTM)

Long Short-Term Memory (LSTM) on rekurrentse närvivõrgu tüüp, mis suudab infot pikkades jadades säilitada. Nn väravad otsustavad igal sammul, mida salvestada, unustada või väljastada, mis leevendab kaduva gradiendi probleemi. Mitu aastat kujundasid LSTM-id kõnetuvastust, tõlget ja aegridade prognoosimist. Keeletöötluses on need suuresti asendunud transformeritega, kuid anduriandmete puhul on need endiselt levinud.

  • närvivõrgud
  • jadad
  • +1

Transformer

Transformer on närvivõrgu arhitektuur, mis tutvustati 2017. aastal uurimistöös „Attention Is All You Need“. Selle tuumaks on tähelepanumehhanism: iga sõna kaalutakse suhtes kõigi teiste sõnadega tekstis ning arvutust saab tõhusalt paralleliseerida. Transformerid on tänapäeva keelemudelite, nagu GPT, Claude ja BERT, aluseks ning neid kasutatakse ka piltide ja heli jaoks.

  • Arhitektuur
  • Süvaõpe
  • +1

Peidetud Markovi mudel (HMM)

Peidetud Markovi mudel (hidden Markov model, HMM) on jadade statistiline mudel, kus tegelikud olekud on peidetud ja neid saab tuletada ainult jälgitavate signaalide põhjal. See kirjeldab tõenäosust, et üks olek järgneb teisele ning et iga olek tekitab teatud vaatluse. HMM-id olid pikka aega kõnetuvastuse ja sõnaliikide märgendamise standard; täna kasutatakse neid endiselt näiteks bioinformaatikas ja aegridade analüüsis.

  • Statistika
  • Jadamudelid
  • +1