Ulottuvuuksien vähentäminen pienentää aineiston piirteiden määrää menettämättä olennaista tietoa. Tunnettuja menetelmiä ovat pääkomponenttianalyysi (PCA) sekä t-SNE ja UMAP, joita käytetään usein visualisointiin. Se nopeuttaa laskentaa, vähentää ylisovittamisen riskiä ja tekee datasta helpommin hahmotettavaa – esimerkiksi kun sadat asiakasominaisuudet kuvataan kaksiulotteiselle kaaviolle, jossa samankaltaiset asiakkaat sijaitsevat lähellä toisiaan.
Agentit, työnkulut ja mallit yhdessä työtilassa – maksuton 24 tunnin demo.
Aloita demoPiirteiden irrotus (feature extraction) tarkoittaa merkityksellisten arvojen johtamista raakadatasta, jotta malli pystyy käsittelemään sitä tehokkaasti. Miljoonien yksittäisten pikselien sijaan järjestelmä voi käyttää reunoja, värejä tai muotoja; tekstit muunnetaan sanapainoiksi tai upotusvektoreiksi (embedding). Hyvät piirteet pienentävät datamäärää, vähentävät laskentatyötä ja parantavat usein tarkkuutta. Piirteiden irrotus on keskeinen osa piirresuunnittelua.
Klusterointi on ohjaamattoman oppimisen menetelmä, joka jakaa datapisteet ryhmiin niiden samankaltaisuuden perusteella ilman ennalta määriteltyjä kategorioita. Se paljastaa kaavoja, joita kukaan ei ole aiemmin nimennyt – esimerkiksi asiakassegmenttejä, joilla on samankaltainen ostokäyttäytyminen. Tekstien kohdalla klusterointi auttaa lajittelemaan satoja asiakkaiden yhteydenottoja aiheisiin, kuten toimitukseen, laskutukseen tai reklamaatioihin, ja näyttää, mihin painopiste asettuu.
Ylisovittuminen (overfitting) tarkoittaa, että malli oppii opetusdatan ulkoa, satunnaisine erikoisuuksineen ja kohinoineen, sen sijaan että se oppisi yleisesti päteviä säännönmukaisuuksia. Silloin se vaikuttaa erittäin tarkalta tutussa datassa mutta toimii huonosti uudessa datassa. Suuri ero opetus- ja testivirheen välillä on tyypillinen merkki. Torjuntakeinoja ovat enemmän tai monipuolisempi data, yksinkertaisemmat mallit, regularisointi, dropout ja ristiinvalidointi.
Piirteiden suunnittelu (feature engineering) tarkoittaa ominaisuuksien (piirteiden) valitsemista, muuntamista ja luomista raakadatasta, jotta oppimisalgoritmi havaitsee kuviot helpommin. Piirteiden poiminta johtaa tiiviitä, merkityksellisiä arvoja monimutkaisesta datasta, kuten tekstistä, kuvista tai signaaleista. Esimerkki: yksittäisistä ostotapahtumista muodostetaan piirteitä, kuten ”päiviä viime ostosta” tai ”keskimääräinen tilausarvo”, mikä voi parantaa asiakaspoistuman ennustetta merkittävästi.
