Glosārijs

Datu tīrīšana

Kas ir Datu tīrīšana?

Datu tīrīšana ir nepareizu, dublētu vai nekonsekventu ierakstu atklāšana un labošana datu kopās. Tipiski soļi ir rakstības un datuma formātu vienādošana, lieko atstarpju noņemšana un dublikātu apvienošana, piemēram, „Smith Ltd” un „Smith Limited”. Tīri dati ir priekšnoteikums drošām analīzēm, izsūtnēm un MI lietojumprogrammām.

Kā palīdz KI.ordo

KI.ordo veidne iztīra sarakstus, atzīmē iespējamos dublikātus un trūkstošās ziņas, kā arī sagatavo izmaiņu žurnālu.

Uzzināt vairāk : Datu tīrīšana

Tēmas

  • datu kvalitāte
  • dublikāti
  • datu uzturēšana

Izmēģiniet KI.ordo

Aģenti, plūsmas un veidnes vienā darbvietā – bezmaksas 24 stundu demo.

Sākt demo
← Visi termini

Saistītie termini

Datu validācija

Datu validācija pārbauda, vai dati ir pilnīgi, pareizi formatēti un ticami, pirms tos apstrādā tālāk. Tipiskas pārbaudes attiecas uz obligātajiem laukiem, e-pasta adrešu, pasta indeksu vai datumu formātu un loģiskām pretrunām — piemēram, piegādes datumu pirms pasūtījuma datuma. Tādējādi kļūdas tiek atklātas savlaicīgi, nevis pāriet uz pārskatiem, rēķiniem vai MI analīzēm.

  • datu kvalitāte
  • pārbaudes
  • +1
Veidne

Izplūdusī saskaņošana (fuzzy matching)

Izplūdusī saskaņošana atrod ierakstus, kas ir līdzīgi, bet ne pilnīgi identiski — piemēram, drukas kļūdu, saīsinājumu vai atšķirīgas rakstības dēļ. Tā balstās uz līdzības mēriem, piemēram, Levenšteina attālumu, kas skaita, cik rakstzīmes jāmaina. Tipisks lietojums ir dublikātu atrašana adrešu un klientu datos: „Smith Ltd, 5 High St” un „Smith Limited, 5 High Street” tiek atpazīti kā, visticamāk, viens un tas pats ieraksts.

  • Datu tīrīšana
  • Dublikāti
  • +1
Veidne

Garbage in, garbage out (GIGO)

„Garbage in, garbage out” („atkritumi iekšā — atkritumi ārā”) apzīmē principu, ka sistēma var sniegt tikai tik labus rezultātus, cik labi ir tās saņemtie dati. MI gadījumā tas attiecas divkārt: nepareizi, novecojuši vai vienpusīgi apmācības vai zināšanu dati noved pie nepareizām vai aizspriedumainām atbildēm. Tērzēšanas robots, kas balstās uz novecojušu cenrādi, nosauks novecojušas cenas. Tāpēc datu kopšana ir pastāvīgs uzdevums katrā MI projektā.

  • Datu kvalitāte
  • Princips
  • +1

Strukturēti dati

Strukturēti dati atbilst fiksētai shēmai ar skaidri nosauktiem laukiem, piemēram, tabulas, datubāzes vai JSON objekti ar tādām ziņām kā nosaukums, cena un datums. Mašīnas tos var uzticami nolasīt, filtrēt un apstrādāt — atšķirībā no brīva teksta vai attēliem. Tīmekļa vietnēs schema.org marķējums, piemēram, apraksta produktus, pasākumus vai BUJ, lai meklētājprogrammas un MI sistēmas saturu saprastu nepārprotami. MI var arī izgūt strukturētus datus no nestrukturēta teksta.

  • dati
  • JSON
  • +1