datarengöring

Datarengöring (data cleaning) är processen att identifiera och korrigera fel eller brister i data som påverkar dess kvalitet och användbarhet. Målet är att göra datasetet konsekvent, fullständigt och pålitligt så att analys, rapportering och modellering får en stabil grund. Datarengöring omfattar ofta arbete med saknade värden, felaktiga eller inkonsekventa format, felregistreringar, dupliceringar och inkonsekvens mellan olika källor eller tidsperioder.

Vanliga problem som adresseras är saknade värden, felaktiga värden, avvikande observationer (outliers), duplicerade rader, inkonsekvent terminologi och olika enhetssystem. Man arbetar även med tidsstämplar, enhetlighet i datatyper och kontextuell konsistens mellan närliggande fält.

Många metoder används, ofta i kombination inom en ETL- eller ELT-process: imputation eller borttagning av saknade data, deduplicering, standardisering och normalisering av numeriska fält, konvertering och enhetlig tolkning av datum och tidszoner, validering mot affärsregler och referensdata, samt felkorrigering av stavning och kodningar.

Processen bygger ofta på data-profilering och regelbaserad kvalitetssäkring, ibland kompletterad med maskininlärning för felklassificering eller mönsterigenkänning. Spårbarhet och versionering är viktigt så att förändringar kan följas och reproducera.

Vanliga verktyg inkluderar Excel och Python-paket som pandas, R, OpenRefine, SQL-verktyg och specialiserade ETL/ELT-verktyg. Datarengöring utgör en grundpelare för tillförlitlig analys, bättre beslutsstöd och förbättrad modellprestanda, samtidigt som den minskar riskerna för felaktiga slutsatser.