datauttak

Datauttak refererer til prosessen med å hente ut data fra en eller flere kilder for bruk i analyse, rapportering eller videre behandling. Det er vanligvis første steg i en dataflyt og skiller seg fra innsamling av brukerdata ved at data allerede finnes i kildesystemet og enten kopieres eller flyttes ut for senere prosessering. Datauttak kan være batchbasert eller sanntidsbasert, og enten fulluttak eller inkrementelt, avhengig av behovene for oppdatering og datamengde.

Kilder og metoder

Datauttak skjer ofte fra relasjonelle databaser via SQL-spørringer, fra apier og nettjenester, fra flate filer som CSV eller JSON, fra hendelsesstrømmer eller sensordata. Valg av metode avhenger av kildeformat, krav til oppdateringsfrekvens, datavolum og ønsket håndtering av kvalitet og konsistens. Det kan foregå lokalt i organisasjonen eller som del av skytjenester, og kan være helt manuell eller styres av automatiserte ETL- eller ELT-pipelines.

Rolle i dataarkitektur

I en dataarkitektur er datauttak en av de tidlige fasene i dataflyten. Etter uttaket går data gjennom rensing, transforming og tilpassing før de lastes inn i datavarehus, data lake eller andre lagrings- og analysemiljøer. Datauttak krever ofte sporbarhet gjennom datahistorikk (lineage), metadatahåndtering og sikkerhetskontroller for tilgang og revisjon.

Viktige hensyn

Biosikkerhet, personvern og samsvar med relevante regelverk (for eksempel GDPR) er sentrale hensyn ved datauttak. Kvalitetskontroll, deduplisering, feilhåndtering og logging er også viktig for pålitelig og effektiv datauttak.