ET
Logi sisseAlusta kohe
Sõnastik

Andmete puhastamine

Mis on Andmete puhastamine?

Andmete puhastamine on andmehulkades olevate vigaste, topelt- või omavahel vastuolus kirjete leidmine ja parandamine. Tüüpilised sammud on kirjaviiside ja kuupäevavormingute ühtlustamine, üleliigsete tühikute eemaldamine ning duplikaatide, näiteks „Tamm OÜ“ ja „Tamm Osaühing“, ühendamine. Puhtad andmed on usaldusväärsete analüüside, väljasaadetavate kirjade ja TI-rakenduste eeldus.

Kuidas KI.ordo aitab

KI.ordo mall puhastab nimekirju, märgib võimalikud duplikaadid ja puuduvad andmed ning koostab muudatuste logi.

Loe lähemalt : Andmete puhastamine

Sobivad mallid

Teemad

  • andmekvaliteet
  • duplikaadid
  • andmete hooldus

Proovi KI.ordot

Agendid, töövood ja mallid ühes tööruumis – tasuta 24-tunnine demo.

Alusta demot
← Kõik terminid

Seotud terminid

Andmete valideerimine

Andmete valideerimine kontrollib, kas andmed on täielikud, õiges vormingus ja usutavad, enne kui neid edasi töödeldakse. Tüüpilised kontrollid hõlmavad kohustuslikke välju, e-posti aadresside, postiindeksite või kuupäevade vormingut ning loogilisi vastuolusid – näiteks tarnekuupäev enne tellimiskuupäeva. Nii leitakse vead varakult, selle asemel et need kanduksid aruannetesse, arvetesse või TI-analüüsidesse.

  • andmekvaliteet
  • kontrollid
  • +1
Mall

Hägus sobitamine

Hägus sobitamine (fuzzy matching) leiab kirjeid, mis on sarnased, kuid mitte täpselt identsed – näiteks kirjavigade, lühendite või erinevate kirjaviiside tõttu. See tugineb sarnasusmõõtudele, nagu Levenshteini kaugus, mis loendab, mitut märki on vaja muuta. Tüüpiline kasutus on duplikaatide leidmine aadressi- ja kliendiandmetes: „Tamm OÜ, Pikk 5“ ja „Tamm Osaühing, Pikk tn 5“ tuvastatakse tõenäoliselt samaks kirjeks.

  • Andmete puhastamine
  • Duplikaadid
  • +1
Mall

Garbage in, garbage out (GIGO)

„Garbage in, garbage out“ ehk „prügi sisse, prügi välja“ väljendab põhimõtet, et süsteem suudab anda ainult nii häid tulemusi kui andmed, mille ta saab. See kehtib TI puhul kahekordselt: valed, aegunud või ühekülgsed treening- või teadmisandmed viivad valede või kallutatud vastusteni. Vestlusrobot, mis tugineb aegunud hinnakirjale, nimetab aegunud hindu. Andmete hooldamine on seetõttu igas TI-projektis pidev ülesanne.

  • Andmekvaliteet
  • Põhimõte
  • +1

Struktureeritud andmed

Struktureeritud andmed järgivad kindlat skeemi selgelt nimetatud väljadega, nagu tabelid, andmebaasid või JSON-objektid, mis sisaldavad üksikasju nagu nimi, hind ja kuupäev. Masinad saavad neid usaldusväärselt lugeda, filtreerida ja töödelda – erinevalt vabast tekstist või piltidest. Veebilehtedel kirjeldab schema.org märgistus näiteks tooteid, sündmusi või KKK-d, et otsingumootorid ja TI-süsteemid mõistaksid sisu üheselt. TI saab struktureeritud andmeid eraldada ka struktureerimata tekstist.

  • andmed
  • JSON
  • +1