Berichtenstromen

Berichtenstromen zijn opeenvolgende berichten die via een communicatiekanaal van zender naar ontvanger worden verzonden. Ze maken asynchrone communicatie mogelijk, waardoor producenten en consumenten losgekoppeld raken. Een zender hoeft niet te wachten op een reactie en ontvangers kunnen berichten op hun eigen tempo verwerken.

Een berichtenstroom wordt doorgaans beheerd door een berichtenbroker of -systeem. Typen omvatten punt-tot-punt (elk bericht wordt aan één consument geleverd) en publiceer-abonneer (pub/sub), waarbij berichten naar meerdere consumenten worden verspreid. Berichten kunnen tijdelijk worden opgeslagen om verlies bij falen te voorkomen en om herstel te ondersteunen.

Essentiële eigenschappen zijn betrouwbaarheid door duurzame opslag, behoud van volgorde voor gerelateerde berichten, en leveringsgaranties zoals ten minste één keer (at-least-once) of precies één keer (exactly-once). Daarnaast spelen schaalbaarheid, fouttolerantie en back-pressure een cruciale rol bij de ontwerpkeuzes.

Toepassingen van berichtenstromen omvatten decoupled microservices, event-driven architecturen, log- en metriekverzameling, en real-time analytics of streaming data pipelines. Samen met stream processing kunnen berichtenstromen berichten tegelijk verzenden, verwerken en opslaan.

Ontwerpkeuzes omvatten het selecteren van een broker, het bepalen van leveringsgaranties, ordering semantics, idempotente verwerking en betrouwbaarheid onder zware belasting. Bekende technologieën zijn onder meer Apache Kafka en RabbitMQ, naast MQTT en andere implementaties, die elk verschillende garanties en prestaties bieden.