Dataoverføringsprosesser

Dataoverføringsprosesser refererer til sett av metoder og mekanismer for å flytte data fra ett sted til et annet, ofte mellom applikasjoner, lagringssystemer eller nettverk. Prosessen omfatter innhenting av data (extract), overføring, og mottak, samt ofte transformasjon og validering av data slik at de kan brukes i mottakerssystemet.

Omfanget inkluderer dataintegrasjon, datasamarbeid mellom virksomheter, systemintegrasjon, sikkerhetskopiering, katastrofegjenoppretting og migrering av data. Hovedkomponentene er kilder og destinasjoner, overføringsmekanismer og protokoller, transportkanal, dataformat, validering og feilhåndtering, samt sikkerhet og overvåking.

Overføringsmetodene varierer fra batch-overføringer (planlagte) til sanntids eller nesten sanntids overføringer (strømning og meldingskøer), og ofte en hybrid tilnærming som kombinerer disse. Transformasjon kan være en del av prosessen (ETL: extract, transform, load; ELT: load, transform) eller fungere som enkel videresending.

Protokoller og formater dekker et bredt spekter, som FTP/S, SFTP/FTPS, HTTP(S) for API-basert utveksling, meldingssystemer som AMQP og MQTT, samt strømmingsplattformer som Kafka. Dataformatsvalg inkluderer CSV, JSON, XML og kolonneorienterte formater som Parquet, avhengig av krav til effektivitet og analysemuligheter.

Nøkkelattributter er pålitelighet, integritet, idempotens og feilhåndtering gjennom retries og checkpointing, samt ventetid og gjennomstrømning. Sikkerhet og samsvar vektlegges gjennom kryptering i transitt og hvile, tilgangskontroll, logging og revisjon for overholdelse av regler som GDPR og andre industristandarder.

Forvaltning av dataoverføringsprosesser inkluderer metadatastyring, dataarv (lineage), overvåkning og avtale (SLAs) for å sikre kvalitetsnivå og pålitelighet i dataleveransene.