Datastrømmer

Datastrømmer er kontinuerlige, uendelige sekvenser av datapunkter som genereres over tid. Hvert element representerer vanligvis en hendelse, en måling eller en oppdatering og har ofte et tidsstempel. Datastrømmer skiller seg fra tradisjonelle batchdata ved at de kommer inn fortløpende og ofte må behandles med lav latens.

Viktige kjennetegn ved datastrømmer er hastighet (velocity), volum (volume), variasjon (variety), pålitelighet/sannhet (pålitelighet) og verdi (value). Strømmer behandles ofte via strømprosesseringssystemer som kan være stateless eller stateful, og som bruker vinduer og tidsskall for å aggregere eller korrelere hendelser. Det kan være utfordrende å håndtere late data, out-of-order-hendelser og skiftende skjema.

Arkitektur og komponenter innebærer vanligvis produsenter som genererer data, et meldingssystem eller temaer/broker som fungerer som mellomlagringspunkt, og konsumenter som kjører strømprosesseringslogikk. Mange løsninger bruker en distribuert broker som støtter skalerbarhet og rekkefølge, og en eller flere prosesseringsmotorer for sanntidsanalyse. Eksempler på verktøy og plattformer inkluderer Kafka, Pulsar, og prosesseringsmotorer som Apache Flink, Apache Spark Structured Streaming og Apache Beam. Data lagres ofte i prosessformatene i brokerne og i etterfølgende lag som datavarehus eller data lake.

Bruksområder omfatter sanntidsanalyse og overvåking, varsling ved anomalies, svindeldeteksjon, IoT-sensorer og klikkstrømmer på nettet, samt kontinuerlig personalisering og beslutningsstøtte.

Utfordringer inkluderer opprettholdelse av riktig rekkefølge, håndtering av forsinket data, backpressure, skjemamigrasjoner og datakvalitetskontroll, samt sikkerhet og tilgangsstyring. Datastrømmer står i kontrast til batch-prosessering og kan kombineres i ulike arkitekturer som Lambda eller Kappa for å møte krav til både sanntid og historiske analyser.