dataintegraatiossa

Dataintegraatiossa tarkoitetaan prosessia, jossa organisaation eri lähteistä peräisin olevaa dataa yhdistetään, harmonisoidaan ja valmistellaan käytettäväksi päätöksenteossa ja analyyseissä. Tavoitteena on luoda laadukas, yhteensopiva ja helposti haettava tietovaranto, joka tukee sekä liiketoiminnan että tutkimuksen tarpeita.

Keskeisiä vaiheita ovat tietolähteiden kartoitus ja luokittelu, sanaston ja metadataan liittyvien standardien määrittely sekä tiedon laadun varmistaminen. Seuraavaksi data muunnetaan yhteensopivaksi malliksi, tehdään deduplikointia ja arkkitehtuurin mukaan valitaan muuntamisen ajoitus. Lopuksi data ladataan kohdejärjestelmään tai julkaistaan reaaliaikaisesti. Yhteistyössä hallinta (data governance), metadata, data lineage ja master data management auttavat ylläpitämään laatua ja läpinäkyvyyttä.

Lähestymistavat ja arkkitehtuurit vaihtelevat, mutta yleisiä ovat ETL (extract-transform-load) sekä ELT (extract-load-transform), joiden mukaan tiedot siirretään ja muunnellaan kohdejärjestelmään tai suoratoistoympäristöön. Data virtualization ja reaaliaikaiset tiedonsiirtomekanismit mahdollistavat nopean reagoinnin. Tyypillisiä arkkitehtuureja ovat data warehouse, data lake sekä data lakehouse, jotka palvelevat erilaista datamallia ja käyttötarkoitusta.

Tiedonhallinnan näkökulmasta keskeisiä käsitteitä ovat laadunhallinta, metadata ja lineage sekä master data management ja tietoturva. Dataintegraation hyödyt sisältävät yhtenäisen näkymän liiketoiminnasta, paremmat analytiikka- ja raportointimahdollisuudet sekä nopeamman päätöksenteon. Haasteina ovat tietojen laatuerojen harmonisointi, semanttinen yhteensopivuus, skaalautuvuus, kustannukset sekä tietosuoja- ja säädösten noudattaminen.