gegevensflow
Gegevensflow verwijst naar de beweging en transformatie van gegevens binnen een informatiesysteem. Het beschrijft hoe ruwe data worden verzameld, vervoerd, verwerkt en uiteindelijk gebruikt of opgeslagen. Het begrip komt voor in softwareontwerp, data engineering, en bedrijfsprocessen waar data over meerdere componenten heen stromen.
In dataflow-programmering en -architectuur worden berekeningen vaak voorgesteld als een grafiek met knooppunten (bewerkers) en randen
Belangrijke kenmerken zijn losgekoppelde componenten, asynchrone verwerking, pipelining en parallelisme. Dataflow ondersteunt vaak real-time of near-real-time
Toepassingen zijn onder meer ETL- en ELT-pijplijnen, datawarehousing, real-time monitoring van systemen, event streams en IoT-gegevensverwerking.
Uitdagingen omvatten latentie- en doorvoerspreiding, backpressure, foutloze verwerking ('exactly-once'), gegevenskwaliteit en governance. Beheer van dataflow vereist