A dimenziócsökkentés egy adathalmaz jellemzőinek számát csökkenti anélkül, hogy a lényeges információ elveszne. Ismert módszerei a főkomponens-elemzés (PCA), valamint a gyakran vizualizációra használt t-SNE és UMAP. Gyorsítja a számítást, csökkenti a túlillesztés kockázatát, és áttekinthetőbbé teszi az adatokat – például amikor ügyfelek több száz attribútumát egy kétdimenziós diagramra képezik le, ahol a hasonló ügyfelek közel kerülnek egymáshoz.
Ügynökök, munkafolyamatok és sablonok egyetlen munkaterületen – ingyenes, 24 órás demó.
Demó indításaA jellemzőkinyerés az a folyamat, amelynek során a nyers adatokból olyan értelmes értékeket származtatunk, amelyeket egy modell hatékonyan fel tud dolgozni. Egy rendszer például több millió egyedi képpont helyett éleket, színeket vagy alakzatokat használhat; a szövegekből szósúlyok vagy beágyazási vektorok lesznek. A jó jellemzők csökkentik az adatmennyiséget, mérséklik a számítási igényt, és gyakran javítják a pontosságot. A jellemzőkinyerés a jellemzőtervezés (feature engineering) központi része.
A klaszterezés felügyelet nélküli tanulási módszer, amely előre meghatározott kategóriák nélkül, hasonlóságuk alapján csoportokra osztja az adatpontokat. Olyan mintázatokat tár fel, amelyeket korábban senki sem nevezett meg – például hasonló vásárlási szokású ügyfélszegmenseket. Szövegek esetén a klaszterezés segít több száz ügyfélmegkeresést olyan témák szerint rendezni, mint a szállítás, a számlázás vagy a panaszok, és megmutatja, hol van a hangsúly.
A túlillesztés (overfitting) akkor lép fel, amikor a modell megjegyzi a tanítóadatokat – a véletlen sajátosságokkal és a zajjal együtt –, ahelyett hogy általánosan érvényes mintákat ragadna meg. Ilyenkor az ismert adatokon nagyon pontosnak tűnik, az új adatokon viszont gyengén teljesít. A tanítási és a tesztelési hiba közötti nagy különbség tipikus jel. Ellenszerek: több vagy változatosabb adat, egyszerűbb modellek, regularizáció, dropout és keresztvalidáció.
A jellemzőtervezés (feature engineering) azt jelenti, hogy a nyers adatokból attribútumokat (jellemzőket) választanak ki, alakítanak át és hoznak létre, hogy a tanuló algoritmus könnyebben ismerje fel a mintázatokat. A jellemzőkinyerés összetett adatokból – például szövegből, képből vagy jelekből – tömör, értelmes értékeket származtat. Példa: az egyes vásárlási adatokból olyan jellemzők lesznek, mint „az utolsó vásárlás óta eltelt napok” vagy „az átlagos rendelési érték”, ami érezhetően javíthatja az ügyfélelvándorlás előrejelzését.
