Sanasto

Datan puhdistus

Mikä on Datan puhdistus?

Datan puhdistus tarkoittaa virheellisten, päällekkäisten tai epäjohdonmukaisten merkintöjen havaitsemista ja korjaamista aineistoissa. Tyypillisiä vaiheita ovat kirjoitusasujen ja päivämäärämuotojen yhtenäistäminen, ylimääräisten välilyöntien poistaminen sekä kaksoiskappaleiden, kuten ”Virtanen Oy” ja ”Virtanen Osakeyhtiö”, yhdistäminen. Puhdas data on edellytys luotettaville analyyseille, postituksille ja tekoälysovelluksille.

Miten KI.ordo auttaa

KI.ordo-malli puhdistaa listoja, merkitsee mahdolliset kaksoiskappaleet ja puuttuvat tiedot sekä tuottaa muutosloki.

Lue lisää

Sopivat mallit

Siivoa luetteloYhtenäistää kirjoitusasut, välilyönnit, isot ja pienet kirjaimet sekä päivämäärämuodot, merkitsee mahdolliset kaksoiskappaleet ja puuttuvat tiedot ja kirjaa jokaisen muutoksen.Katso malli

Aiheet

datan laatu
kaksoiskappaleet
tietojen ylläpito

Kokeile KI.ordoa

Agentit, työnkulut ja mallit yhdessä työtilassa – maksuton 24 tunnin demo.

Aloita demo

← Kaikki termit

Liittyvät termit

Datan validointi

Datan validointi tarkistaa, että data on täydellistä, oikeassa muodossa ja uskottavaa, ennen kuin sitä käsitellään edelleen. Tyypillisiä tarkistuksia ovat pakolliset kentät, sähköpostiosoitteiden, postinumeroiden tai päivämäärien muoto sekä loogiset ristiriidat – esimerkiksi toimituspäivä ennen tilauspäivää. Näin virheet havaitaan ajoissa sen sijaan, että ne siirtyisivät raportteihin, laskuihin tai tekoälyanalyyseihin.

datan laatu
tarkistukset
+1

Malli

Sumea vertailu (fuzzy matching)

Sumea vertailu (fuzzy matching) löytää merkintöjä, jotka ovat samankaltaisia mutta eivät täysin identtisiä – esimerkiksi kirjoitusvirheiden, lyhenteiden tai erilaisten kirjoitusasujen vuoksi. Se perustuu samankaltaisuusmittoihin, kuten Levenshtein-etäisyyteen, joka laskee, kuinka monta merkkiä on muutettava. Tyypillinen käyttö on kaksoiskappaleiden löytäminen osoite- ja asiakastiedoista: ”Virtanen Oy, Kauppakatu 5” ja ”Virtanen Osakeyhtiö, Kauppakatu 5” tunnistetaan todennäköisesti samaksi tietueeksi.

Datan puhdistus
Kaksoiskappaleet
+1

Malli

Garbage in, garbage out (GIGO)

”Garbage in, garbage out” kuvaa periaatetta, jonka mukaan järjestelmä voi tuottaa vain yhtä hyviä tuloksia kuin sen saama data. Tämä pätee tekoälyyn kaksinkertaisesti: virheellinen, vanhentunut tai yksipuolinen koulutus- tai tietämysdata johtaa vääriin tai vinoutuneisiin vastauksiin. Chatbot, joka käyttää vanhentunutta hinnastoa, ilmoittaa vanhentuneita hintoja. Datan ylläpito on siksi jatkuva tehtävä jokaisessa tekoälyhankkeessa.

Datan laatu
Periaate
+1

Jäsennelty data

Jäsennelty data noudattaa kiinteää skeemaa selkeästi nimetyin kentin, kuten taulukot, tietokannat tai JSON-objektit, jotka sisältävät tietoja kuten nimi, hinta ja päivämäärä. Koneet voivat lukea, suodattaa ja käsitellä sitä luotettavasti – toisin kuin vapaata tekstiä tai kuvia. Verkkosivuilla schema.org-merkintä kuvaa esimerkiksi tuotteita, tapahtumia tai UKK:ta, jotta hakukoneet ja tekoälyjärjestelmät ymmärtävät sisällön yksiselitteisesti. Tekoäly voi myös poimia jäsenneltyä dataa jäsentämättömästä tekstistä.

data
JSON
+1