meldingstrømmer

Meldingstrømmer er kontinuerlige, sekvensielle strømmer av meldinger eller hendelser som genereres av programvare og systemer. De muliggjør asynkron kommunikasjon mellom produsenter og forbrukere og legger til rette for sanntidsbehandling av data. Strømmene opprettes ofte som emner eller køer der meldinger publiseres av produsenter og konsumeres av én eller flere applikasjoner.

En meldingstrøm lagres vanligvis i et vedvarende, append-only-logg, og hver melding får en offset som gjør rekkefølgen og tilbakeføring mulig. Mange systemer tilbyr ulike forbruksmodeller, der pub/sub gjør det mulig for flere forbrukere å lese samme emne, mens købaserte modeller tildeler meldinger til spesifikke forbrukere eller grupper.

Semantikk for meldingene varierer: noen systemer gir minst én gang-levering, andre garanterer kun én gang eller nøyaktig én gang, noe som påvirker hvordan feil og duplikater håndteres. Da systemene ofte brukes i kombinasjon med riktig datamodell og idempotente forbrukere, blir kompleks hendelsesbehandling mulig.

Vanlige teknologier inkluderer Apache Kafka, Apache Pulsar, RabbitMQ, AWS Kinesis og Google Cloud Pub/Sub. Kafka er spesielt fokusert på skalerbar loggbasert lagring og sanntidsanalyse, mens RabbitMQ er en tradisjonell meldingskø. Brukstilfeller omfatter sanntidsanalyse, loggaggregasjon, hendelsesdrevet arkitektur, IoT-telemetri og dataintegrasjon.

Viktige vurderinger ved bruk av meldingstrømmer er latens, gjennomstrømning, pålitelighet, feiltoleranse og sikkerhet. Dataformater som JSON, Avro og Protobuf, samt lagringspolitikk og offset-håndtering, spiller også en viktig rolle ved design av pipeline og konsumentlogikk.