tiedonvalidointi

Tiedonvalidointi on prosessi, jonka tavoitteena on varmistaa tiedon oikeellisuus, eheys sekä noudattaa liiketoimintasääntöjä ennen tallennusta ja sen jälkeen. Validointi toteutetaan sekä tiedon keräämisen että käsittelyn yhteydessä, jotta virheellinen tai puutteellinen tieto ei vaikuta päätöksiin tai automatisoituihin prosesseihin.

Keskeisiä validoinnin osa-alueita ovat syntaktinen validointi, jolla tarkastellaan tietotyyppien, formaattien ja pakollisuuden oikeellisuutta, sekä semanttinen validointi, jossa varmistetaan tiedon looginen yhdenmukaisuus ja liiketoimintasääntöjen noudattaminen. Lisäksi tehdään viitteiden eheys (viite-eheys), duplikaattien havaitseminen sekä ristiintarkastuksia eri kenttien yhteyksien välillä. Näillä varmistetaan, ettei epäkelpoa arvoa pääse vaikuttamaan järjestelmän toimintaan.

Prosessi ja toteutus vaihtelevat kontekstin mukaan. Tiedonvalidointi suunnitellaan jo datan keruuvaiheessa määrittämällä säännöt, tarkistusjäykät ja hyväksyttävät rajat. Käytännössä validointi integroidaan ETL- tai ELT-prosessseihin sekä reaaliaikaisiin syötteisiin. Data profiloidaan säännöllisesti, jolloin voidaan mitata täydellisyys, tarkkuus, johdonmukaisuus ja aikaisuus sekä havaita poikkeamat.

Laadunhallinnassa ja tietojohtamisessa tiedonlaatujaksoihin viitataan usein viitekehyksiin ja standardeihin. Tiedonlaadun mittoja ovat muun muassa tarkkuus, täydellisyys, johdonmukaisuus, ajantasaisuus, kelpoisuus ja ainutlaatuisuus. Kansainvälisiä viitekehyksiä ovat ISO 8000 ja ISO/IEC 25012. Näiden avulla määritellään vastuut, prosessit ja jatkuva parantaminen. Haasteita ovat lähteiden moninaisuus, muuttuvat säännöt ja suurten datamäärien hallinta, joihin vastataan automatisoiduin valvontametrein ja jatkuvalla dokumentaatiolla.