ELTprosesseissa

ELT-prosesseissa tiedot kerätään lähdejärjestelmistä, siirretään kohdejärjestelmään ja muunnokset suoritetaan vasta kohteessa. Tämä ero ETL-malliin, jossa muunnokset tehdään ennen lataamista. ELT-mallit ovat yleisiä modernissa datainfrastruktuurissa, erityisesti pilviympäristöissä, joissa kohdejärjestelmän laskentayhteydet käsittelevät suuria datamääriä ja monimutkaisia muunnoksia tehokkaasti.

Typillinen ELT-pipeline sisältää kolme päävaihetta: Extract – datan kerääminen lähteistä kuten liiketoimintajärjestelmistä ja sovelluksista; Load – raaka-aineiston tallennus kohdeinfrastruktuuriin (data warehouse tai data lake), usein staging-alueelle; Transform – muunnosten toteuttaminen kohdejärjestelmässä, usein SQL-pohjaisilla työkaluilla, jolloin syntyy jäsenneltyä analysoitavaa dataa.

ELT:n etuja ovat skaalautuvuus ja suorituskyky, koska muunnokset hyödyntävät kohteen laskentaa. Se mahdollistaa nopeamman tiedon tuonnin, joustavan datamallin kehittämisen sekä mahdollisuuden tallentaa raakadataa analysointia varten. Lisäksi ELT tukee monipuolista dataa, mukaan lukien semi- ja unstructured data, sekä mahdollistaa ketterät muutokset datamalliin ponnistamatta datan latausvaiheessa.

Haasteina ovat kohdejärjestelmän kustannukset ja resurssit, jotka voivat olla korkeat transformaatioiden suoritukseen. Data governance, lineage ja laadunvalvonta vaativat vahvaa metadata- ja monitorointiratkaisuja. ELT-pipelines voivat olla riippuvaisia lähdejärjestelmien saatavuudesta, ja niiden kehitys vaatii osaajia SQL:ssä, data-arkkitehtuurissa sekä orkestroinnissa.

ELT soveltuu erityisesti pilvi-WD- ja datalake-ympäristöihin sekä suuriin datamääriin ja monipuoliseen dataan, mukaan lukien strukturoimaton data. Se sopii tilanteisiin, joissa halutaan nopea tiedon tuonti ja muunnokset voidaan suorittaa kohdejärjestelmän laskentakyvyllä. Tyypillisiä työkaluja ovat data warehouse -alustat ja muuntamisen hallintaan tarkoitetut työvälineet kuten SQL-pohjaiset ratkaisut sekä orkestrointi- ja metadata-työkalut.