adatátalakítás

Adatátalakítás olyan folyamat, amely során adatokat egyik formátumból, szerkezetből vagy értelmezési módból egy másikba alakítanak át. Célja lehet az adatok interoperabilitása, a különböző rendszerek közötti integráció, vagy az adatok elemzésre és tárolásra való előkészítése. A folyamat két fő típusa a szintaktikus és a szemantikus átalakítás. Szintaktikus átalakításnál a külső formátum vagy kódolás változik (például CSV-ből JSON-be való konverzió vagy ASCII-ról UTF-8-ra váltás). Szemantikus átalakításnál módosulhat az adatok jelentése vagy megfeleltetése is, például egység- vagy fogalmi átértékelés.

Gyakorlati alkalmazások közé tartozik az ETL/ELT folyamatokban végzett adatátalakítás, adatminőség-javításban és adatok normalizálásában vagy denormalizálásában az adatbázisokban és adattárházakban. A folyamat gyakran a kinyerésből (extract) indul, ezt követi az átalakítás (transform), végül a betöltés (load).

A technikák közé tartozik típuskonverziók, egységátalakítások, dátum és idő formátumok normalizálása, karakterkészlet-átalakítás és sztring-összehasonlítások; továbbá attribútumok átnevezése és leképezése, valamint strukturális átalakítások, például normalizáció, denormalizáció vagy pivotálás. Az adatok minőségének biztosításához érvényesítés és validáció is gyakran része a folyamatnak.

Megvalósítások: SQL-alapú átalakítások, általános programnyelvekben (pl. Python), vagy speciális ETL/ELT eszközökben. XML- vagy JSON-alapú környezetben gyakoriak a XSLT, XQuery vagy JSON-transzformációk. Fontos a nyomvonal (data lineage), a verziókezelés és a reprodukálhatóság.

A főbb kihívások közé tartozik a szemantikailag eltérő adatok összerendelése, adatok közti konzisztencia, metaadatok kezelése és a nagy mennyiségű adat feldolgozásának teljesítménye.