Datastreamingplattformar

Datastreamingplattformar är mjukvaru- eller molnbaserade system som möjliggör realtidsinsamling, bearbetning och distribution av händelsebaserade data över olika applikationer och tjänster. De hanterar kontinuerliga flöden av händelser (streams) där varje händelse publiceras av producenter och konsumeras av olika konsumenter eller stream processing-tjänster.

En grundläggande arkitektur består av producenter, ett meddelandebroker som lagrar händelser i loggar (append-only logg), och konsumenter. Många plattformar implementerar en partitionerad logg som möjliggör parallell konsumtion och felåterhämtning via offsetar. Förbearbetning och analys sker ofta i realtid genom integrerade stream processing-motorer (t.ex. Flink, Spark Streaming) eller genom frågebaserade motorer som ksqlDB.

Vanliga användningsområden inkluderar realtidsanalys och övervakning, kontinuerlig ETL och dataflöden till data lake eller datalager, samt distribution av data mellan olika system för mikrotjänster.

Vanliga egenskaper är låg latens, hög genomströmning, skalbarhet, fault tolerance och stöd för olika dataformat och schemahantering (t.ex. Avro, JSON, Protobuf och schema registry). Semantiska garantier varierar mellan exakt-once, idempotent publishing, eller at-least-once.

Exempel på datastreamingplattformar är Apache Kafka (och Confluent Platform), Apache Pulsar, Amazon Kinesis, Google Cloud Pub/Sub och Azure Event Hubs.

Utmaningar innefattar utbildning, datakvalitet, säkerhet och integritetskrav, samt komplexitet i att hantera backpressure och misslyckade konsumenter.