Dataflödes

Dataflöde avser vägen som data tar genom ett datasystem, från ingång till bearbetning, lagring och slutlig output. Inom datavetenskap fokuserar man ofta på dataförflyttningens mönster snarare än kontrollflödets sekvens. Ett dataflöde består vanligtvis av serier av processer där varje steg tar emot data, applicerar transformationer och producerar resultat som skickas vidare till nästa steg. Flödet styrs av data i stället för av instruktioner, vilket påverkar när och i vilken ordning arbete utförs.

Vanliga komponenter är datakällor, transportkanaler (nätverk och meddelandebussar), bearbetning/transformering, lagring och slutkonsumenter. Metadata, övervakning och felhantering är centrala för att förstå hur flytet fungerar. Dataflöden modelleras ofta med dataflödesdiagram (DFD) eller i moderna ramverk genom definierade pipelines.

Arkitekturer för dataflöden delas vanligtvis in i batch- och strömmande modeller. Batchflöden samlar upp data och bearbetar den i omgångar, medan strömflöden behandlar data kontinuerligt i realtid eller nära realtid. Dataflödesramverk används för ETL-/ELT-pipelines, realtidsanalys och hantering av stora datamängder. Exempel på användning är insamling av sensor- eller användarhändelser som inlästa, validerade, transformerade och lagrade i ett datalager eller en data lake.

Fördelar inkluderar modularitet, skalbarhet och möjligheten till parallell bearbetning samt återanvändbara komponenter. Utmaningar täcker felhantering, latens, schemaändringar, backpressure och upprätthållande av datakvalitet samt övervakning i komplexa flöden.