datastrøm

Datastrøm er en sekvens av dataelementer som kommer kontinuerlig eller periodisk over tid fra en eller flere kilder til en eller flere forbrukere. Elementene følger vanligvis en tidsrekkefølge og kan være uendelige eller svært store i omfang. Vanlige kilder inkluderer sensorer, applikasjonslogger, transaksjonshendelser og brukeratferd i sanntid.

Behandling av datastrøm skjer gjennom strømbehandling, hvor data mottas og behandles fortløpende istedenfor å lagres som et statisk datasett først. Operasjoner omfatter filtrering, omforming (mapping og transformasjon), aggregering og vindusbetingede beregninger. Latenstiden mellom innkommende data og resultat er ofte kritisk, og systemene kan være tilstandsbevarende (stateful) eller tilstandsfrie (stateless).

Arkitektur og teknologier: datastrøm håndteres ofte med meldingsbaserte mønstre som publiserings- og abonnementsmønstre (pub/sub). Populære plattformer inkluderer Apache Kafka og RabbitMQ, som gir robust asynkron kommunikasjon og persistens. Strømbehandlingsrammeverk som Apache Flink, Apache Spark Structured Streaming og Google Cloud Dataflow lar utviklere beskrive kontinuerlig inn- og utdataflyt, og tilbyr ulike leveransegarantier (minst én gang, nøyaktig én gang eller maksimalt én gang).

Bruksområder og utfordringer: datastrømmer anvendes i sanntidsovervåkning, IoT, finansielle handelsfelt, trafikk- og brukeradferdsanalyse samt anbefalingssystemer. Viktige utfordringer inkluderer håndtering av ufullstendige eller forsinkede data, bevaring av ordning, duplisering, datakvalitet og skalerbarhet samt valg av riktig leveransegaranti og feiltoleranse.