Adatszínpadok

Adatszínpadok olyan logikai egységek vagy modulok sorozata a data architectureben, amelyekben az adatok egy meghatározott sorrendben haladnak át feldolgozási lépéseken. Minden színpad egy konkrét feladatot végez, például adatok gyűjtése, validálás, tisztítás, transzformáció, összevetés vagy minősítés, adatok összekapcsolása több forrásból, tárolás előkészítése vagy analitikai kérdésekre adott válaszok előállítása. A szóhasználat a színpad metaforájából származik: az adatok egyfajta produkciós folyamatban “játszák le” a különböző szerepeket, míg a teljes pipeline egy összefüggő értékteremtő láncot alkot.

Jellemzően az adatszínpadok különválasztott, de egymáshoz kapcsolódó lépések, amelyek interfészeikben és adatszerkezetekben megfeleltethetők egymásnak. Gyakran részei ETL- vagy ELT-folyamatoknak, és lehetővé teszik a skálázhatóságot, verziózást és új adathasználatok gyors bevezetését. A színpadok közötti adatátvitelhez szerializációs formátumok, metaadat-kezelés és verziókövetés szükséges, így a folyamatok nyomon követhetők és auditálhatók.

Elterjedése erősen összefügg az adattárházak, adat-tálcák és valós idejű adatfolyamok kiépítésével. Előnyei közé tartozik a moduláris felépítés, a flexibilitás és a könnyebb karbantarthatóság, míg kihívások között említhetők a világos határfelületek megtervezése és a latency kezelése. Kapcsolódó fogalmak: adatfolyam-architektúra, ETL/ELT, adatvizualizáció, adatminőség.