adattranszformáció

Az adattranszformáció az adatok egyik formájáról a másik formájára történő átalakítását jelenti, hogy a különböző forrásokból származó adatok egységesen használhatók legyenek elemzési, riportolási vagy adatközpontú feladatokhoz. A folyamat lényege a strukturális és szemantikai egyeztetés: a séma, típusok, formátumok és értelmezések harmonizálása.

Jellemző műveletek közé tartozik a típuskonverzió, dátum- és számformátumok egységesítése, karakter- és stringmanipuláció, normálizálás és standardizálás (például címkék egyeztetése), valamint az adatok összesítése, szűrése és összekapcsolása (join) vagy denormalizálása. A transzformáció segít az adatok minőségének javításában, például duplikátumok eltávolításában vagy értelmezési egységek egységesítésében.

Az átalakítás gyakorlati megvalósítása többféle architektúrát takar. Gyakori megközelítés az ETL (Extract-Transform-Load), amelyben a transformáció a célrendszerbe írás előtt történik, és az ELT (Extract-Load-Transform), ahol a feldolgozás a célrendszerben történik. Ezek lehetnek batch vagy streaming alapú feldolgozások. Gyakori eszközök közé tartoznak az adatfolyam-kezelő rendszerek és adat-adatközpontú platformok, például Apache NiFi, Talend, Informatica vagy dbt.

Alkalmazási területek közé tartozik a data warehousing és BI-riportolás, az adat-lakó- és adat-tárház architektúrák, valamint adatminőség- és megfelelőségi programok támogatása. Fontos elemek a nyomon követhetőség és adatlineage, metaadat-kezelés, validációs szabályok és auditálás, melyek segítik a tranzformációk átláthatóságát és reproducibilitását.