Dataintegrointi

Dataintegrointi tarkoittaa prosessia, jossa useista lähteistä peräisin olevaa dataa yhdistetään yhdenmukaiseksi ja yhteiskäyttöön sopivaksi. Tavoitteena on tarjota kattava ja eheä kuva organisaation tiedoista siten, että dataa voidaan analysoida, raportoida ja käyttää päätöksenteossa. Dataintegrointi kattaa sekä operatiivisen että analyyttisen toiminnan yhdistämällä dataa eri järjestelmistä, tietovarastoista, pilvipalveluista ja IoT-laitteista tulevat tiedot.

Tyypillisiä lähestymistapoja ovat perinteinen ETL (extract, transform, load) sekä nykyaikaisempi ELT (extract, load, transform). Data voidaan integroida reaaliajassa tai aikataulutetusti. Tekniikat kattavat data-virtualisoinnin, API-pohjaisen integraation, viestinvälityksen ja tapahtumapohjaisen striimauksen sekä erilaiset laadunhallinnan ja metatiedon hallinnan ratkaisut.

Keskeisiä arkkitehtuuriratkaisuja ovat tietovarastot, datalake- sekä data lakehouse -mallit ja mahdollisesti data fabric- tai data mesh -periaatteet. Käytössä olevat työkalut ja komponentit tukevat tiedon kartoitusta, laadunvarmistusta, transformointia ja orkestrointia sekä metatietojen hallintaa.

Haasteisiin kuuluu tiedon laadun vaihtelu, skeemamuutosten hallinta, skaalautuvuus ja suorituskyky sekä tietosuoja ja noudattaminen. GDPR:n kaltaiset säädökset sekä organisaation datanhallintapolitiikat vaikuttavat suunnitteluun ja käytäntöihin. Hyötyinä ovat parempi näkyvyys koko organisaatiossa, nopeampi ja laadukkaampi päätöksenteko sekä mahdollisuus kehittää uusia dataan perustuvia palveluita ja liiketoimintamalleja.