dataomregning

Dataomregning refers to the process of converting data from one representation to another, enabling interoperability between systems, preserving meaning, and supporting migrations. It encompasses unit conversions, data-type conversions, encoding changes, and format transformations.

Det innebærer å kartlegge kilgedata mot måldata, normalisere verdier, håndtere manglende verdier og sikre datakvalitet. Eksempler inkluderer å konvertere måleenheter (meter til fot), endre numeriske typer, endre tegnkoding (ASCII til UTF-8) og å omformatere filformater (CSV til JSON, XML til JSON).

I IT-praksis er dataomregning en sentral del av data-integrasjon og ETL-pipelines. Det forekommer ofte ved migrasjonsprosjekter, i datavarehus og ved sammenslåing av data fra ulike kilder. Det inkluderer også skjema-evolusjon, der måldatamodellen endres over tid.

Viktige utfordringer inkluderer datakvalitetsproblemer (inkonsekvent navngivning, manglende verdier), skjema- drift, tap av presisjon ved tallkonvertering, ytelse ved store datamengder, og å opprettholde dataløp og revisjonsspor.

Beste praksis omfatter å dokumentere kartlegginger og regler, bruke metadata, validere transformert data mot kvalitetssjekker, teste med representative datasett, designe idempotente transformasjoner og bruke versjonskontroll av transformasjonslogikk. Verktøy spenner fra dedikerte ETL/ELT-plattformer til programmeringsbiblioteker i Python, Java eller SQL.

Se også: data migrering, datanormalisering, datatransformasjon, ETL, datakvalitet.