adattranszformálás

Az adattranszformálás olyan adatkezelési folyamat, amelynek során különböző forrásokból származó adatok átstrukturálása, átalakítása történik annak érdekében, hogy a célrendszerben egységes és használható formát öltsenek. A cél lehet adatkönyvtárakba, adattárházakba vagy adatgyűjtő rendszerekbe történő továbbítás és elemzés elősegítése.

A jellegzetes megközelítések közé tartozik az ETL (Extract-Transform-Load) és az ELT (Extract-Load-Transform). Az ETL hagyományosan külső feldolgozást ír elő: az adatok előkészítése, átalakítása és csak ezután betöltése a célrendszerbe. Az ELT ezzel szemben az adatokat először betölti, majd a célrendszerben végzi az átalakítást, ami rugalmasságot és gyorsabb iterációt tesz lehetővé modern adattárházaknál vagy adat-lakóövezetekben.

A folyamat általában három fő lépésből áll: kinyerés, átalakítás, betöltés. Az átalakítás során végzett műveletek közé tartozik a típusok konvertálása, normalizálás, standardizálás, adattisztítás, hiányzó értékek kezelése, duplikációk eltávolítása, adatkapcsolatok és séma leképezése.

Tipikus transzformációs műveletek közé tartozik az oszlopok egyeztetése, értékek átskálázása, egység- és mértékegység konverzió, dátum-idő átalakítások, összevonás, kiválasztás, csoportosítás és aggregáció, valamint összekapcsolások (join).

Jelentős szerepe van az adatintegrációban, adattárházakban, adat-elemzésekben és adatkészletek létrehozásában. A gyakorlatban gyakran adatminőség-, adatnyomonkövetési és governance követelmények, verziózás és adatdokumentáció is részei a folyamatnak.