Datakvalitetskontroll

Datakvalitetskontroll är processen att säkerställa att data uppfyller relevanta krav och är lämpliga för sina avsedda ändamål. Den innefattar planering, mätning, validering och övervakning av data genom hela livscykeln och utgör en del av övergripande datastyrning och datakvalitetshantering.

Kvalitetsdimensioner som ofta används inom datakvalitetskontroll inkluderar noggrannhet, fullständighet, aktualitet, konsekvens, giltighet och unikhet. Noggrannhet avser överensstämmelse med verkliga värden, fullständighet om alla nödvändiga fält finns, aktualitet om data är färska, konsekvens om data är konsistenta över system, giltighet om data följer affärsregler, och unikhet om dubbletter undviks.

Vanliga metoder är dataprofilering för att kartlägga kvaliteten, validering mot affärsregler och format, rensning och standardisering, deduplicering, berikning där det är relevant samt spårning av fel genom återkoppling till källor. Dataflödes- och postkvalitetskontroller används för att fånga avvikelser i realtid eller batch.

Organisationen tilldelar roller som dataägare och dataförvaltare/stewards, definierar regler och nyckeltal, samt upprättar övervakning och rapportering via dashboards. Kontinuerlig förbättring följer, ofta genom cykler som Plan-Do-Check-Act eller liknande.

Verktyg för datakvalitetskontroll inkluderar profilering, validering, rensning och transformering samt övervakningsplattformar. Utmaningar är fragmentering av data över system, varierande datamodeller, sekretess- och regleringskrav samt kostnader för kvalitetshantering.