Sõnastik

Tehisnärvivõrgud (ANN)

Mis on Tehisnärvivõrgud (ANN)?

Tehisnärvivõrgud (artificial neural networks, ANN) on arvutusmudelid, mis koosnevad paljudest ühendatud üksustest („neuronitest“), mis on paigutatud kihtidesse ja töötlevad sisendeid kaalutud ühenduste kaudu. Treenimise käigus kohandatakse kaalusid samm-sammult näidete põhjal, tavaliselt tagasilevi (backpropagation) abil. ANN-id on süvaõppe alus ja annavad jõudu pildituvastusele, kõnetuvastusele ning suurtele keelemudelitele. Hoolimata bioloogilisest eeskujust töötavad need palju lihtsamalt kui inimese aju.

Teemad

Süvaõpe
TI alused
Mudelid

Proovi KI.ordot

Agendid, töövood ja mallid ühes tööruumis – tasuta 24-tunnine demo.

Alusta demot

← Kõik terminid

Seotud terminid

Süvaõpe

Süvaõpe on masinõppe haru, mis kasutab paljude kihtidega tehisnärvivõrke. Sellised võrgud õpivad suurtest andmehulkadest ise, millised tunnused on olulised – piltidel servadest, tekstides tähenduslike seosteni. Süvaõpe on tänapäevaste keelemudelite, pildituvastuse, kõnetuvastuse ja masintõlke aluseks ning vajab tavaliselt märkimisväärset arvutusvõimsust ja treeningandmeid.

närvivõrgud
masinõpe
+1

Backpropagation

Vastupidine levi (backpropagation) on standardmeetod, mille abil närvivõrgud õpivad. Pärast iga ennustust mõõdetakse viga ja levitatakse see tagasisuunas läbi võrgu kihtide, mis näitab, kui palju iga kaal sellele kaasa aitas. Seejärel kohandab optimeerimismeetod, näiteks gradientlaskumine, kaale samm-sammult. Ilma vastupidise levita oleks tänapäevaste keele- ja pildimudelite treenimine praktiliselt võimatu.

Närvivõrgud
Training
+1

Aktivatsioonifunktsioonid

Aktivatsioonifunktsioonid määravad, kui tugevalt tehisnärvivõrgu neuron oma signaali edasi annab. Need toovad sisse mittelineaarsuse – alles siis suudab võrk kujutada keerukaid seoseid, nagu keel või pildid. Levinud näited on ReLU, mis seab negatiivsed väärtused nulliks, sigmoid tõenäosuste jaoks vahemikus 0 kuni 1 ja GELU, mida kasutatakse paljudes transformer-mudelites. Valik mõjutab treenimise kiirust ja stabiilsust.

Närvivõrgud
Süvaõpe
+1

Transformer

Transformer on närvivõrgu arhitektuur, mis tutvustati 2017. aastal uurimistöös „Attention Is All You Need“. Selle tuumaks on tähelepanumehhanism: iga sõna kaalutakse suhtes kõigi teiste sõnadega tekstis ning arvutust saab tõhusalt paralleliseerida. Transformerid on tänapäeva keelemudelite, nagu GPT, Claude ja BERT, aluseks ning neid kasutatakse ka piltide ja heli jaoks.

Arhitektuur
Süvaõpe
+1