Realtidsdatastrømmer

Realtidsdatastrømmer refererer til kontinuerlig produserte og behandles data som ankommer systemet med lav latenstid, slik at innsikt og reaksjon skjer mens dataene strømmer inn. Dette står i kontrast til batchbasert behandling, som grupperer data og kjører analyse i avgrensede perioder.

Et realtidsdatastrømsystem består vanligvis av kilder som genererer hendelser eller målinger, en meldingsinfrastruktur eller strømmegateway (for eksempel Kafka eller Pulsar) og en strømprosesseringmotor som analyserer og transformerer data i sanntid. Data lagres ofte som streams eller topics og brukes av ulike konsumenter. Vanlige dataformater inkluderer JSON, Avro og Protobuf. Viktige begreper inkluderer lav latenstid, gjennomstrømning, rekkefølge, eventtid versus behandlingstid, watermarking, vinduer og backpressure, samt behovet for nøyaktig-en-én-semantikk i visse scenarier.

Vanlige teknologier omfatter meldings- og strømmeplattformer som Apache Kafka og Apache Pulsar, samt strømprosesseringsrammeverk som Apache Flink, Spark Structured Streaming og Kafka Streams. Dataformat og koblinger brukes ofte med Kafka Connect og CDC-verktøy for å integrere systemer. I IoT, finans og netthandel er typiske bruksområder sanntidsanalyse, systemovervåking, hendelseshåndtering, svindeloppdagelse og personlig tilpassede anbefalinger.

Utfordringer inkluderer datakvalitet og skjemahåndtering ved evolverende strukturer, håndtering av forsinkede data, oppnåelse av riktig balanse mellom latens og gjennomstrømning, samt skalerbarhet, feiltoleranse og sikkerhet. Real-time data streams muliggjør raske beslutninger, automatisering og mer responsive digitale tjenester.