Dataflytbasert

Dataflytbasert er et begrep som beskriver arkitekturer og utviklingsprinsipper der dataflyten mellom komponenter bestemmer hvordan beregninger og prosesser utføres. I stedet for å styre gjennom sekvensiell kontrollflyt, modelleres systemet som en graf av operasjoner hvor kantene representerer data som strømmer mellom noder.

Grunnleggende prinsipper inkluderer løs kobling mellom komponenter, asynkron kommunikasjon og bruk av meldingssystemer eller køer. Behandlingen skjer ofte i en rekke transformasjoner som kan kjøres parallelt og skaleres uavhengig. Dataflytbaserte tilnærminger er særlig vanlige i data engineering, ETL/ELT, streaminganalyse og integrasjonsløsninger.

Fordeler inkluderer forbedret skalerbarhet og gjenbruk, tydelig separasjon mellom innhenting og behandling, samt enklere testing av individuelle transformasjoner og bedre sporbarhet av data og transformasjoner. Systemet legger ofte til rette for reproduksjon av dataflyter og enklere feilsøking i komplekse datapipelines.

Utfordringer inkluderer komplisert grafdesign og vedlikehold, utfordringer med feilhåndtering og latenskrav som kan krev effektive styringsmekanismer. Endringer i dataformat eller strukturer kan kreve omfattende justeringer i hele flyten, og behovet for observabilitet og datakvalitetsstyring blir sentralt.

Eksempler og verktøy inkluderer Apache NiFi, Apache Beam, Google Cloud Dataflow, Apache Kafka Streams og Azure Data Factorys dataflows. Typiske bruksområder er dataintegrasjon, sanntidsmonitorering, IoT-data og vitenskapelige arbeidsflyter basert på dataflyt.

Se også: dataflyt, dataflow programming, data-centric architecture.