ETLELTværktøjer

ETL- og ELT-værktøjer er softwareløsninger, der understøtter opbygning og vedligeholdelse af dataflows fra kildesystemer til et målsystem som et datavarehus eller en data lake. De håndterer typisk indsamling (extract), transformation (transform) og indlæsning (load) af data, men forskellen ligger i, hvornår og hvor transformationerne udføres.

ETL udfører normalt transformationerne i en separat processing-motor, før dataene indlæses i målsystemet, hvilket giver tidlige valideringer og renere kilde-data ved ankomsten. ELT flytter rådata direkte til målsystemet og udfører transformationerne der, ofte ved hjælp af datavarehusets eller datalagets beregningsressourcer. ELT udnytter kraftfulde cloud-databaser og orkestrering til større fleksibilitet og skalerbarhed.

Væsentlige funktioner inkluderer forbindelser til mange datakilder, orkestrering og planlægning, data governance og datakvalitet, metadata og datasporing, sikkerhed og adgangsstyring samt understøttelse af streaming og inkrementelle indlæsninger.

Typiske anvendelser omfatter migrering til datavarehuse som Snowflake, BigQuery og Redshift, opbygning af datalakes og analytiske datamarts, samt realtids- eller near-realtids analytics og rapportering. Eksempler på kendte ETL-værktøjer er Informatica PowerCenter, IBM DataStage, Microsoft SSIS og Talend. For ELT-domænet er Fivetran, Stitch og Matillion populære valg, ofte i kombination med dbt til transformationer i datavarehuset efter indlæsning.

Markedet bevæger sig mod cloud-native ELT, hvor leverandørerne tilbyder både indlæsning og transformation i skyen. Valg af ETL eller ELT afhænger af målarkitektur, datakilders kompleksitet og krav til governance og latens.