Sõnastik

Dimensionaalsuse vähendamine

Mis on Dimensionaalsuse vähendamine?

Dimensionaalsuse vähendamine vähendab andmehulga tunnuste arvu, kaotamata olulist infot. Tuntud meetodid on peakomponentide analüüs (PCA) ning t-SNE ja UMAP, mida kasutatakse sageli visualiseerimiseks. See kiirendab arvutusi, vähendab ülesobitamise riski ja muudab andmed paremini mõistetavaks – näiteks kui sadu kliendi tunnuseid kujutatakse kahemõõtmelisel diagrammil, kus sarnased kliendid asuvad üksteise lähedal.

Teemad

  • andmeanalüüs
  • PCA
  • tunnused

Proovi KI.ordot

Agendid, töövood ja mallid ühes tööruumis – tasuta 24-tunnine demo.

Alusta demot
← Kõik terminid

Seotud terminid

Tunnuste eraldamine

Tunnuste eraldamine on protsess, mille käigus tuletatakse toorandmetest tähenduslikud väärtused, et mudel saaks neid tõhusalt töödelda. Miljonite üksikute pikslite asemel võib süsteem kasutada servi, värve või kujundeid; tekstid muudetakse sõnakaaludeks või embedding-vektoriteks. Head tunnused vähendavad andmemahtu, alandavad arvutuskulu ja parandavad sageli täpsust. Tunnuste eraldamine on tunnuste inseneeria (feature engineering) keskne osa.

  • andmete ettevalmistamine
  • tunnuste inseneeria
  • +1

Clustering

Klasterdamine on juhendamata õppe meetod, mis jagab andmepunktid nende sarnasuse põhjal rühmadesse ilma eelnevalt määratud kategooriateta. See toob esile mustrid, mida keegi pole varem nimetanud – näiteks sarnase ostukäitumisega kliendisegmendid. Tekstide puhul aitab klasterdamine sorteerida sadu kliendipäringuid teemadesse, nagu tarne, arveldamine või kaebused, ja näitab, kus on rõhuasetus.

  • juhendamata õpe
  • rühmitamine
  • +1
Mall

Overfitting

Ülesobitamine (overfitting) tekib siis, kui mudel jätab treeningandmed, sealhulgas juhuslikud omapärad ja müra, pähe, selle asemel et tabada üldkehtivaid mustreid. Siis tundub see tuttavate andmete puhul väga täpne, kuid toimib uute andmete puhul halvasti. Tüüpiline märk on suur vahe treening- ja testivea vahel. Vastumeetmed on rohkem või mitmekesisemad andmed, lihtsamad mudelid, regulariseerimine, dropout ja ristvalideerimine.

  • mudeli kvaliteet
  • treenimine
  • +1

Tunnuste kujundamine ja eraldamine

Tunnuste kujundamine (feature engineering) tähendab toorandmetest atribuutide (tunnuste) valimist, teisendamist ja loomist, et õppealgoritm tuvastaks mustreid kergemini. Tunnuste eraldamine (feature extraction) tuletab keerukatest andmetest, nagu tekstid, pildid või signaalid, kompaktseid tähendusrikkaid väärtusi. Näide: üksikutest ostukirjetest tehakse tunnused nagu „päevi viimasest ostust“ või „keskmine tellimuse väärtus“, mis võivad klientide lahkumise ennustust märgatavalt parandada.

  • Masinõpe
  • Andmete ettevalmistus
  • +1