Lähdedatan

Lähdedata tarkoittaa tietojärjestelmän tai muun tiedonlähteen alkuperäistä, käsittelemätöntä dataa, josta muut jalostetut tiedot ja analyysit rakennetaan. Lähdedatan käsite on keskeinen osa tietohallintoa ja datan hallintaa.

Lähdedatalle ominaisia piirteitä ovat monimuotoisuus ja hajautuminen: esimerkiksi liiketapahtumat, sensoridata, rekisteritiedot, lokitiedot sekä geospatiaalinen tai tekstitieto. Lähdedataa voidaan kerätä useista järjestelmistä ja se voi olla sekä strukturoitua että jossain määrin epästrukturoitua.

Laatu ja ajantasaisuus riippuvat lähdedatasta. Metadata kuvaa lähdedatan ominaisuuksia, kuten lähdejärjestelmä, omistaja, aikaleima ja päivitysnopeus. Data lineage kuvaa, miten lähdedata muuttuu prosesseissa ja missä sitä käytetään.

Lähdedataa hyödynnetään usein ETL- tai ELT-prosesseissa, joissa tiedot siirretään, yhdistetään ja jalostetaan datavarastoihin tai datalakeihin. Hyvä jäljitettävyys varmistaa, että analyysien ja raporttien perusteet ovat luotettavia.

Haasteisiin kuuluu järjestelmä- ja formaattien välinen yhteensopimattomuus, schema-drift, laaturaportoinnin tarve sekä tietosuoja- ja yksityisyysvaatimukset. Hallinnallinen puoli kattaa omistajuuden, pääsyoikeudet ja versionhallinnan.

Esimerkki: kaupan tai pankin asiakas- ja tapahtumatiedot ovat tyypillisiä lähdedataa-tapoja, joista rakennetaan liiketoimintaa palvelevia analyysejä ja raportteja. Lähdedatan konteksti pyritään säilyttämään, jotta lähdekontekstin perusteella voidaan tehdä luotettavia päätelmiä.