Sanntidsdatafangst

Sanntidsdatafangst refererer til innsamling og behandling av data i sanntid eller nær sanntid fra sensorer, enheter, programvare og andre kilder, slik at informasjonen kan brukes umiddelbart for overvåkning og beslutninger. Det er motsetning til batchbasert behandling der data lagres og prosesseres senere.

Typiske komponenter inkluderer innsamling (informasjon fra sensorer og applikasjoner), transport (protokoller og nettverk), normalisering og berikelse av dataene, samt lagring og sanntidsanalyse. Vanlige teknologier og protokoller er MQTT, CoAP og AMQP for innsamling; Kafka, Flink og Spark Structured Streaming for prosessering; og dataformater som JSON og Avro.

Arkitekturer inkluderer edge computing ved at data behandles nær kilden, og sky-/hybrid løsninger. Publiser-abonner-mønstre og hendelsesdrevet arkitektur er vanlige. Viktige begreper er tidsstempel, hendelsestid (event-time) versus behandlings-tid, samt backpressure og feilhåndtering i strømmede datapipelines.

Bruksområder omfatter industriell IoT og produksjon, transport og logistikk, finansielle markeder, telekommunikasjon og overvåking. Fordeler inkluderer rask innsikt, mulighet for automatisert kontroll og forbedret beslutningsgrunnlag. Utfordringer inkluderer lav latency og høy gjennomstrømning, datakvalitet, datasikkerhet og personvern, samt skalerbarhet og kostnader.

Beste praksis inkluderer nøyaktig tidsstyring og synkronisering (NTP/PTP), sikre kanaler, autentisering og tilgangskontroll, idempotent innlasting, håndtering av endringer i skjema, samt overvåking, logging og feilhåndtering.