LT
PrisijungtiPradėti
Terminų žodynas

duomenų valymas

Kas yra duomenų valymas?

Duomenų valymas – tai neteisingų, besidubliuojančių ar nenuoseklių įrašų duomenų rinkiniuose aptikimas ir taisymas. Tipiniai veiksmai: rašybos ir datų formatų suvienodinimas, perteklinių tarpų šalinimas ir dublikatų, pavyzdžiui, „UAB Jonaitis“ ir „Jonaitis, UAB“, sujungimas. Švarūs duomenys yra patikimų analizių, siuntimų ir DI taikomųjų programų išankstinė sąlyga.

Kaip padeda KI.ordo

KI.ordo šablonas išvalo sąrašus, pažymi galimus dublikatus ir trūkstamus duomenis bei sudaro pakeitimų žurnalą.

Sužinoti daugiau : duomenų valymas

Tinkami šablonai

Temos

  • duomenų kokybė
  • dublikatai
  • duomenų priežiūra

Išbandykite KI.ordo

Agentai, srautai ir šablonai vienoje darbo srityje – nemokama 24 valandų demonstracinė versija.

Pradėti demonstraciją
← Visi terminai

Susiję terminai

Duomenų patikra (data validation)

Duomenų patikra tikrina, ar duomenys yra išsamūs, teisingo formato ir tikėtini, prieš juos apdorojant toliau. Tipinės patikros apima privalomus laukus, el. pašto adresų, pašto kodų ar datų formatą ir logines prieštaras – pavyzdžiui, pristatymo datą, ankstesnę už užsakymo datą. Taip klaidos pastebimos anksti, o ne persikelia į ataskaitas, sąskaitas faktūras ar DI analizes.

  • duomenų kokybė
  • patikros
  • +1
Šablonas

Neapibrėžtasis sutapdinimas (fuzzy matching)

Neapibrėžtasis sutapdinimas randa panašius, bet ne visiškai identiškus įrašus – pavyzdžiui, dėl rašybos klaidų, santrumpų ar skirtingų rašybos variantų. Jis remiasi panašumo matais, tokiais kaip Levenšteino atstumas, nurodantis, kiek simbolių reikia pakeisti. Tipinis naudojimas – dublikatų paieška adresų ir klientų duomenyse: „Jonaitis, UAB, Gedimino pr. 5“ ir „UAB Jonaitis, Gedimino prospektas 5“ atpažįstami kaip tikėtinai tas pats įrašas.

  • duomenų valymas
  • dublikatai
  • +1
Šablonas

Šiukšlės į įvestį – šiukšlės į išvestį (GIGO)

„Šiukšlės į įvestį – šiukšlės į išvestį“ (angl. garbage in, garbage out) apibūdina principą, kad sistema gali pateikti tik tokius rezultatus, kokie yra gaunami duomenys. DI tai galioja dvigubai: neteisingi, pasenę ar vienpusiški mokymo ar žinių duomenys lemia klaidingus ar šališkus atsakymus. Pokalbių robotas, remiantis pasenusiu kainoraščiu, nurodys pasenusias kainas. Todėl duomenų priežiūra yra nuolatinė kiekvieno DI projekto užduotis.

  • Duomenų kokybė
  • principas
  • +1

Struktūruoti duomenys

Struktūruoti duomenys laikosi fiksuotos schemos su aiškiai pavadintais laukais, pavyzdžiui, lentelės, duomenų bazės ar JSON objektai su tokiais duomenimis kaip vardas, kaina ir data. Mašinos gali juos patikimai skaityti, filtruoti ir apdoroti – skirtingai nei laisvą tekstą ar vaizdus. Svetainėse schema.org žymėjimas apibūdina, pavyzdžiui, produktus, renginius ar DUK, kad paieškos sistemos ir DI sistemos turinį suprastų vienareikšmiškai. DI taip pat gali išgauti struktūruotus duomenis iš nestruktūruoto teksto.

  • duomenys
  • JSON
  • +1