dataströmmen

Datastrømmen er en uendelig sekvens av dataposter som kommer inn over tid. Hver post inneholder vanligvis et tidsstempel og en verdi. Datastrømmer oppstår fra ulike kilder, som sensorer, programlogg, brukerhendelser eller finansielle transaksjoner. I motsetning til batchbehandling er datastrømmer kontinuerlige og ofte sanntids- eller nær sanntidsbehandlede, noe som muliggjør raske reaksjoner på hendelser.

I praksis brukes datastrømbehandling til sanntidsanalyse, varsling og kontinuerlig oppdatering av beslutningsgrunnlag. Systemer leser hver post når den ankommer og oppdaterer utdata løpende, uten å vente på at et helt datasett blir samlet. Batchprosesser kjører derimot periodisk og arbeider med avgrensede partier av data.

Viktige begreper i datastrømmen inkluderer tidsaspektet (event time vs processing time), vinduer (tumle- og glidevinduer) og vannmerker som hjelper med å håndtere ut-av-orden data og latenstider. Tilstandsfulle operasjoner bevarer kontekst mellom poster, mens statløse operasjoner behandler hver post uavhengig. Systemer må kunne håndtere skalerbarhet, backpressure og feilhåndtering i produksjon.

Når det gjelder pålitelighet beskrives semantikk ofte langs tre nivåer: minst én gang, nøyaktig én gang, eller noe i mellom. Dette påvirker hvordan systemet håndterer duplikater, ut-av-orden data og feil.

Bruksområder inkluderer overvåking og varsling, IoT-sensorer, finansielle tickers, brukerstrømmer i nettjenester og sanntidsanalyse.