streambaserad

Streambaserad, eller strömmande bearbetning, beskriver en arkitektur där data behandlas kontinuerligt när den produceras, i realtid eller nära realtid, i stället för i separata batchar. Data ses som en obegränsad följd av händelser eller poster som analyseras, transformerats och sammanställs under pågående strömflöde.

Viktiga begrepp inkluderar händelsedriven arkitektur, fönstermodellering (till exempel tumlings- eller glidande fönster), tillståndsbaserad kontra statslös bearbetning, backpressure och felhantering. Semantik för bearbetning kan vara exakt-en-gång (exactly-once) eller minst-en-gång (at-least-once). Ramverk och plattformar som stödjer streambaserad bearbetning omfattar exempelvis Apache Flink, Apache Kafka Streams, Apache Spark Structured Streaming, Google Cloud Dataflow och Microsoft Azure Stream Analytics. Källor är ofta meddelandebrokers, sensorer, loggfiler och klickströmmar; konsumtion kan leda till dashboards, larm eller vidare datapipelines.

Användningsområden inkluderar realtidsanalys, övervakning och avvikelsedetektion, bedrägeribekämpning, live-rapportering, personalisering samt IoT-datahantering. Streambaserad bearbetning skiljer sig från batchbearbetning genom att den kontinuerligt hanterar inkommande data och ofta minskar latency, medan batch bearbetar data i definierade mängder i separata körningar. Vissa arkitekturer lutar mot mikro-batching, andra mot helt granskas som ström. I större skala talar man ibland om Kappa-arkitektur (endast strömmar) eller Lambda-arkitektur (kombinerar strömmar och batch).

Fördelar inkluderar låg latens och kontinuerlig insikt samt skalbarhet; utmaningar innefattar hantering av out-of-order-data, sena data och komplex tillståndshantering samt felåterställning.