Datavervoer

Datavervoer is het proces waarbij digitale data van de ene computer, toepassing, locatie of medium naar de andere wordt verplaatst. Het omvat zowel netwerkverkeer tussen systemen als overdracht tussen opslagplaatsen en applicaties binnen of tussen organisaties. Het onderscheidt zich van dataopslag en data verwerking door de focus op verplaatsing van data, in plaats van op het bewaren of bewerken daarvan.

Technieken en mechanismen die datavervoer mogelijk maken, bestaan uit transportlagen en bijbehorende protocollen zoals TCP, UDP, SCTP en QUIC. Voor het verplaatsen van bestanden en berichten worden onder meer FTP/SFTP, HTTP/HTTPS, WebSocket en berichtensystemen zoals AMQP, Kafka en RabbitMQ gebruikt. In moderne omgevingen vindt vaak dataoverdracht plaats via data pipelines met batch- of real-time streaming, en via ETL- of ELT-processen. Cloudplatforms bieden daarnaast dedicated data-transferdiensten om massale migraties en integraties tussen systemen te faciliteren.

Beveiliging en betrouwbaarheid zijn cruciale aspecten van datavervoer. Encryptie tijdens transport (bijvoorbeeld TLS), authenticatie en autorisatie zorgen voor privacy en integriteit. Betrouwbaarheid wordt bewaakt via foutdetectie, integriteitscontrole en leveringsgaranties zoals at-least-once of exactly-once bij vele messaging- en streamingsystemen. Prestaties hangen af van doorvoer, latency, jitter en netwerkcongestie, evenals de capaciteit van verwerkende systemen.

Toepassingen omvatten bedrijfsdata-integratie, backups en disaster recovery, migraties, en real-time analytics. Uitdagingen zijn onder meer interoperabiliteit en standaardisatie, naleving van privacywetgeving zoals GDPR, kosten van datavervoer en vereisten rondom beveiliging en verantwoording.