Adatfolyamok

Adatfolyamok olyan események sorozata, amelyeket időrendben, folyamatosan állítanak elő egy vagy több forrás. Az adatok érkezése gyakran folyamatos, és a feldolgozás célja valós idejű vagy közel valós idejű elemzés, eseménykövetés és reakció.

Az architektúrában az adatok általában producerek, üzenetközvetítők vagy témák, és fogyasztók részvételével mozognak. Az adatok tipikusan egy logba kerülnek, minden eseményhez kulcs, érték és időbélyeg tartozik. A rendszerek gyakran támogatják a skálázást és a párhuzamos feldolgozást a megnövekedett terhelés mellett.

A feldolgozás folyamatos vagy félig folytonos. A leggyakoribb modellek a stream processinget meghatározó folyamatos lekérdezések és ablak-alapú feldolgozás. Különbséget kell tenni az eseményidő-alapú (event time) és a feldolgozási idő-alapú (processing time) feldolgozás között. A feldolgozás szemantikája lehet at-least-once vagy exactly-once, ami a megbízhatóság és a visszaállíthatóság kérdéseit érinti. A rendezés és a késleltetés gyakran központi kihívások.

Gyakori technológiák közé tartoznak a Kafka, Flink, Spark Structured Streaming és Kafka Streams, valamint üzenetközvetítők, például RabbitMQ. Az adatformátumok közül a JSON, Avro és Protobuf gyakori. A rendszerek gyakran támogatnak különböző csatlakozókat és integrációkat, hogy az adatok a forrásoktól a feldolgozási állomásokon át a tárolókig jussonak.

Használati területek közé tartozik a valós idejű analitika, monitorozás és anomália-észlelés, IoT-alkalmazások, csalásmegelőzés, valós idejű ajánlások és felhasználói viselkedés elemzése. A adatfolyamok kockázatai közé tartozik a késleltetés, a teljesítmény, az adatok sorrendjének megőrzése, visszaemlékezés és séma-evolúció.

Összegzésként az adatfolyamok kulcsfontosságú elemei a modern adatinfrastruktúráknak, összekapcsolva az adatigényt a valós idejű elemzéssel és döntéstámogatással.