ETLtyökaluissa

ETL-työkalut ovat ohjelmistotuotteita, joita käytetään tiedon integroimiseen lähteistä kohdejärjestelmiin. Niiden ydintoiminnot voidaan jakaa kolmeen vaiheeseen: Extract, Transform ja Load. Haetaan data useista lähteistä kuten tietokannoista, sovelluksista tai pilvipalveluista, muokataan ja puhdistetaan se sekä sovitetaan yrityksen tietomalliin, ja lopuksi ladataan kohteeseen kuten data warehouseen, data lekee tai analytiikkatyökaluun. Monipuoliset välitystavat ja yhteydet auttavat kattamaan sekä strukturoituneet että strukturoimattomat tietolähteet.

Nykyaikaiset ETL-työkalut tarjoavat automatisoinnin ja orkestroinnin ominaisuuksia: aikarauhkien hallinnan, virheiden käsittelyn, lokituksen sekä metadata- ja datalupaushallinnan. Ne tukevat sekä perinteisiä batch-tietojen siirtoja että pilvipohjaisia ja reaaliaikaisia ratkaisuja, jolloin data voidaan integroida usein eri järjestelmistä aikataulutetusti tai tapahtumapohjaisesti.

ETL-työkalujen lisäksi nykyisessä ekosysteemissä on usein yhdistelmiä eli ELT-malleja, joissa muokkaus tapahtuu suurimman osan transformaatioista kohdejärjestelmässä tai tietovarastossa, jolloin suuret volyymit käsitellään tehokkaasti hajautetussa ympäristössä.

Käyttötapaukia ovat tiedon integrointi useista järjestelmistä, tietovaraston rakentaminen, dataintegraation laadun parantaminen sekä tietojen migraatiot ja arkkitehtuurimuutokset. Valinta riippuu datan määrästä ja monimutkaisuudesta, lähteiden sekä kohteiden tuetuista yhdistämistavoista, vaaditusta reaaliaikaisuudesta sekä kustannuksista. Suosituimpia ETL-työkaluja ovat esimerkiksi SSIS, Talend, Informatica PowerCenter, Apache NiFi, Matillion ja Fivetran.