Realtidsdatastrømsystem

Realtidsdatastrømsystem er en softwarearkitektur og infrastruktur der håndterer kontinuerlige dataflow i realtid. Formålet er at indsamle, behandle og levere data med lav latens og høj gennemløb, så virksomheden kan reagere øjeblikkeligt på begivenheder, mønstre og ændringer i data.

Arkitekturen består typisk af datakilder (datastrømme fra sensorer, applikationer eller logfiler), en meddelelsesmotor eller strømbroker til publikering og subskription (for eksempel Apache Kafka, Apache Pulsar), en stream-behandlingsmotor (Flink, Spark Streaming, Beam) og et lag af sinks eller lagring (data lake, databaser, dashboards).

Vigtige egenskaber omfatter lav end-to-end-latens, høj gennemløb, fault tolerance og evnen til at bevare og rekonstruere tilstanden. Behandling kan være event-tid eller processing-tid, og gøres ofte med vinduer (tumbling, sliding) og statestyring. Mange systemer understøtter exactly-once eller at-least-once semantik og kan skaleres ved partitionering og distribuering.

Anvendelsesområder inkluderer finansiel handel og risikostyring, IoT og sensordata, overvågning og sikkerhed, realtids analytics og operativ beslutningstagning i online-tjenester og produktionsmiljøer.

Udfordringer omfatter data-kvalitet og schema-evolution, backpressure og latency-udfordringer, data governance, sikkerhed, compliance og kompleksiteten ved at operationalisere end-to-end realtidsstrømmen across multi-region og heterogeneous kilder.