folyamatalapú

Folyamatalapú feldolgozás olyan megközelítés, amely során az adatok folyamatosan, érkezésükkor kerülnek feldolgozásra, szemben a tömbösített (batch) feldolgozással. Ez a megoldás lehetővé teszi alacsony késleltetésű, valós idejű vagy near real-time elemzést és reagálást a beérkező eseményekre.

A lényegi jellemzők közé tartozik, hogy az adatok eseményenként érkeznek, és a folyamatok több, állapotot is kezelő operátorral dolgoznak. Fontos fogalmak a visszacsatolási mechanizmusokkal együtt a backpressure, az időalapú vagy eseményidő alapján történő ablakkezelés (windows), valamint a pontosan egyszerű vagy legalább egyszerű feldolgozási garancia. A rendszerek gyakran állapotot is megőriznek, hogy hosszabb futású folyamatokat is képesek legyenek megvalósítani, és biztosítsák a megbízhatóságot, például checkpointolással vagy fejlett hibatűrő megoldásokkal.

Alkalmazási területek közé tartozik a valós idejű analitika, csalásfelderítés, napi üzemeltetési monitoring, IoT-telemetria vagy felhasználói események valós idejű elemzése és élő irányítópultok támogatása.

Technológiák és ökoszisztéma példái közé tartoznak az Apache Flink, Apache Kafka Streams, Apache Spark Structured Streaming és a Google Dataflow (Beam), valamint az üzenetközvetítő rendszerek, például az Apache Kafka, amelyek adatsorokat szolgáltatnak a feldolgozó rétegnek.

Előnyök közé tartozik a gyors reagálás és folyamatos döntéshozatal, míg kihívások a pontos esemény-időzítés, out-of-order érkezés kezelése, állapotkezelés és skálázhatóság.