datasömmar

Datasömmar är diskontinuiteter som uppstår när data från olika källor, tidsperioder eller mätmetoder sammanställs i en gemensam datamängd. Fenomenet kan skapa artificiella mönster eller dölja verkliga trender och betraktas som en central utmaning vid datafusion och integrering av register eller longitudinella studier.

Orsakerna inkluderar olika definitioner och variabler, olika mätinstrument och enheter, varierande tids- eller geografisk täckning, olika urval och förändringar i datainsamlingar över tid. Sekretessbegränsningar, anonymisering och olika datarensningssteg kan också leda till ofullständiga överföringar mellan källor, vilket förstärker övergångsavsnittens påverkan på analysen.

Exempel förekommer inom hälso- och sjukvårdsregistrets sammanställd statistik där kodsystem ändras över tid, i miljödata som kombinerar flera sensortyper eller satelliter, och i befolkningsstatistik där regionala gränser förändras eller uppgifter publiceras i olika frekvenser. Datasömmar kan leda till feltolkningar av trender, regionala skillnader eller effekter av policyändringar om de inte hanteras.

Detektion och bedömning av datasömmar innefattar jämförande analys mellan källor, visualisering av tidsserier runt övergångsperioder, förändringspunktsanalys och granskning av metadata som variabeldefinitioner och mätnivåer. Åtgärder för att mildra effekterna inkluderar harmonisering av variabler och enheter, användning av korskopplingar och ontologier, noggrann dokumentation av provenance, versionering samt känslighetsanalyser.

Se även: data integration, datakvalitet, datastyrning, harmonisering.