adatfolyamkezel

Adatfolyamkezelés (adatfolyam-kezelés) olyan informatikai megközelítés, amely folyamatosan érkező adatok feldolgozását és elemzését célozza meg valós idejű vagy közel valós idejű kilátásokkal. A feldolgozás koncepciója a kötegelt (batch) feldolgozástól abban különbözik, hogy az adatok érkezésével párhuzamosan történik, gyakran alacsony késéssel, eseményalapon. Gyakori területek közé tartozik a valós idejű monitorozás, eseményekből származó meta- és metrika-gyűjtés, valamint valós idejű ETL.

Fő elemei közé tartozik az adatszállítási réteg (üzenetsorok, eseményfolyamok), a feldolgozó motor (stream processing engine), és a célrendszerekhez író végpontok (adatraktárak, adat- tárolók, vizualizációs rendszerek). A fogalmi különbségek közé tartozik a szemantika: esemény-idő és feldolgozási idő, állapotkezelés, ablakos feldolgozás (tumbling, sliding, session), illetve a pontosság garantálása (at-most-once, at-least-once, exactly-once).

Elterjedt megoldások közé tartozik a valós idejű adatintegráció, eseményvezérelt architektúrák és felügyeleti vagy riasztási rendszerek. Néhány jól ismert keretrendszer: Apache Kafka és Kafka Streams, Apache Flink, Apache Spark Streaming (Structured Streaming), Google Dataflow és Microsoft Azure Stream Analytics. A feladatok gyakran kombinálják a stateless és stateful feldolgozást, és alkalmaznak különböző ablakokat a késleltetett elemzésekhez.

Alkalmazási területek közé tartozik a pénzügyi kereskedés, ipari IoT, webes analitika, biztonsági és csalásfelügyelet, illetve felügyeleti dashboardok.