dataintensief

Dataintensief verwijst naar systemen, processen en toepassingen die sterk afhankelijk zijn van het verzamelen, opslaan, verwerken en analyseren van grote hoeveelheden data. In een dataintensieve omgeving ligt de nadruk op data throughput, data toegankelijkheid en data-kwaliteit, vaak in combinatie met schaalbaarheid en veerkracht. Het concept onderscheidt zich van puur compute-intensieve systemen, waarbij de rekencapaciteit of snelheid van de processor de belangrijkste beperkende factor is.

Kenmerkende aspecten zijn onder meer een gedistribueerde architectuur, data pipelines die data van bron naar opslag en analyse leiden, en de aanwezigheid van data governance en metadata management. Veelgebruikte modellen omvatten zowel batch- als real-time (streaming) verwerking, met opslag in data lakes of datawarehouses. Belangrijke principes zijn data provenance, kwaliteit en beveiliging, evenals interoperabiliteit tussen verschillende systemen en databronnen.

Technologieën en bouwstenen die vaak voorkomen in dataintensieve omgevingen zijn onder meer gedistribueerde verwerkingstools en platforms (zoals Hadoop, Spark en Flink), datasopities (NoSQL, kolomopslag, object storage), en orkestratie- en berichtensystemen (bijvoorbeeld Airflow, Kafka). Organisatiebreed spelen data governance, privacy en kostenbeheer een cruciale rol, net als schaalbaarheidsstrategieën en data-architecturen zoals data lakes en data warehouses.

Toepassingsgebieden omvatten wetenschappelijk onderzoek, financiële analyse, marketing- en klantgedraganalyse, Internet of Things, en operationele dashboards voor realtime monitoring. Trends richten zich op cloud-gebaseerde data platforms, data mesh-ideeën, real-time analytics en edge computing, die allemaal de toegankelijkheid, snelheid en schaalgrootte van dataintensieve systemen beïnvloeden.