Ordlista

Datarensning

Vad är Datarensning?

Datarensning innebär att felaktiga, duplicerade eller inkonsekventa poster i datamängder upptäcks och rättas. Typiska steg är att enhetliggöra stavningar och datumformat, ta bort överflödiga mellanslag och slå ihop dubbletter som ”Svensson AB” och ”Svensson Aktiebolag”. Rena data är en förutsättning för tillförlitliga analyser, utskick och AI-applikationer.

Så hjälper KI.ordo

En mall i KI.ordo rensar listor, flaggar möjliga dubbletter och saknade uppgifter samt skapar en ändringslogg.

Läs mer : Datarensning

Ämnen

  • datakvalitet
  • dubbletter
  • dataunderhåll

Prova KI.ordo

Agenter, flöden och mallar i en arbetsyta – gratis demo i 24 timmar.

Starta demo
← Alla begrepp

Relaterade begrepp

Datavalidering

Datavalidering kontrollerar om data är kompletta, korrekt formaterade och rimliga innan de bearbetas vidare. Typiska kontroller gäller obligatoriska fält, formatet på e-postadresser, postnummer eller datum samt logiska motsägelser – till exempel ett leveransdatum före orderdatumet. På så sätt fångas fel tidigt i stället för att föras vidare till rapporter, fakturor eller AI-analyser.

  • datakvalitet
  • kontroller
  • +1
Mall

Fuzzy matching (ungefärlig matchning)

Fuzzy matching hittar poster som är liknande men inte exakt identiska – till exempel på grund av stavfel, förkortningar eller olika stavningar. Metoden bygger på likhetsmått som Levenshtein-avståndet, som räknar hur många tecken som måste ändras. En typisk användning är att hitta dubbletter i adress- och kunddata: ”Svensson AB, Storgatan 5” och ”Svensson Aktiebolag, Storgat. 5” känns igen som troligen samma post.

  • Datarensning
  • Dubbletter
  • +1
Mall

Garbage in, garbage out (GIGO)

”Garbage in, garbage out” beskriver principen att ett system bara kan ge lika bra resultat som de data det får. Det gäller dubbelt för AI: felaktiga, föråldrade eller ensidiga tränings- eller kunskapsdata leder till felaktiga eller partiska svar. En chattbot som utgår från en föråldrad prislista anger föråldrade priser. Datavård är därför en löpande uppgift i varje AI-projekt.

  • Datakvalitet
  • Princip
  • +1

Strukturerade data

Strukturerade data följer ett fast schema med tydligt namngivna fält, som tabeller, databaser eller JSON-objekt med uppgifter som namn, pris och datum. Maskiner kan läsa, filtrera och bearbeta dem tillförlitligt – till skillnad från fri text eller bilder. På webbplatser beskriver schema.org-märkning till exempel produkter, evenemang eller vanliga frågor, så att sökmotorer och AI-system förstår innehållet entydigt. AI kan också extrahera strukturerade data ur ostrukturerad text.

  • data
  • JSON
  • +1