ELTprotsessi

ELT-prosessi (Extract, Load, Transform) on tietojen integroinnin lähestymistapa, jossa tiedot kerätään useista lähteistä, ladataan raakina kohdejärjestelmään ja muunnokset suoritetaan vasta lataamisen jälkeen kohdejärjestelmässä. Tämä eroaa perinteisestä ETL-prosessista, jossa muunnokset tehdään ennen lataamista.

ELT on erityisen yleinen nykyaikaisissa datawarehouse- ja data lake -arkkitehtuureissa, joissa kohdejärjestelmä tai pilviteknologiat tarjoavat riittävästi laskentakapasiteettia. ELT-mallissa painottuu se, että suuria määriä dataa voidaan tallettaa ensin ja muuntaminen suoritetaan silloin, kun tarvitaan, käyttäen kohdejärjestelmän omaa suoritinta.

Prosessin tyypilliset vaiheet ovat:

- tietolähteiden tunnistus ja yhteyksien rakentaminen;

- raakatietojen ekstrointi (kerääminen);

- lataus kohdejärjestelmään sellaisenaan;

- muuntaminen kohdejärjestelmässä, usein mallin ja liiketoimintalogiikan mukaan;

- laadunvarmistus, metadata ja tietovakauden hallinta;

- orkestrointi, monitorointi sekä tietosuoja- ja pääsynhallinta.

Ympäristöt ja työkalut vaihtelevat, mutta yleisiä esimerkkejä ovat cloud-pohjaiset alustoajat kuten Snowflake, Google BigQuery, Microsoft Azure Synapse ja Amazon Redshift yhdessä data-integraatio- ja orchestrointityökalujen kanssa. ELT mahdollistaa suurten tietomäärien käsittelyn sekä semi- ja unstrukturoidun datan joustavan käsittelyn käyttökohteissaan.

Hyödyt ja rajoitteet: ELT hyödyntää kohdejärjestelmän laskentaa, mikä voi parantaa suorituskykyä ja skaalautuvuutta sekä vähentää valmistelutyötä. Toisaalta se asettaa enemmän vastuun laadunvalvonnalle kohdejärjestelmässä ja edellyttää resursseja siellä; muunnokset voivat myös olla vaikeampia virheenkorjauksessa, jos epäonnistumiset ilmentyvät vasta muunnoksen aikana.