Datavarehusprosesser

Datavarehusprosesser er et sett av systematiske aktiviteter som samler inn data fra ulike kilder, renser og transformerer dem, og lagrer dem i et datavarehus for rapportering, analyse og beslutningsstøtte. Kildene kan være ERP- og CRM-systemer, produksjons- og loggdata, filbaserte data og tredjepartsdata. Hovedmålet er å gjøre dataene konsistente, tilgjengelige og pålitelige for beslutningstøtte.

De vanligste arbeidsmetodene er ETL (extract, transform, load) og ELT (extract, load, transform). I ETL skjer transformasjonen før lasting til datavarehuset, mens i ELT skjer bearbeidingen i målbasen etter innlasting. Et stagingområde brukes til å hente inn rådataene og utføre tidlige renholds- og integreringstrinn. Dataene lagres deretter i datavarehuset eller i datamart for spesifikke forretningsområder.

Datavarehusprosesser omfatter også data modellering og lagring. Dette inkluderer innføring av lagringsstrukturer som stjerneskjema eller snøfnuggsmodell, og i noen tilfeller Data Vault. Lagring skjer ofte inkrementelt med partisjonering og indeksering for ytelse, samt implementering av datakvalitets- og datakonformitetsregler.

Orkestrering, metadata og kvalitet står sentralt. Arbeidsflyter planlegges og overvåkes, metadata dokumenteres og data lineage sporer opprinnelse og bevegelser. Kvalitetskontroller, validering og testing av data er viktig før levering til brukere og applikasjoner.

Sikkerhet, styring og drift er grunnleggende hensyn. Tilgangskontroller, autentisering, revisjon og overholdelse av regelverk blir implementert i hele prosessen, sammen med kontinuerlig overvåking, vedlikehold og kostnadseffektivisering gjennom automatisering og skalerbarhet, ofte i skybaserte miljøer.