datakwaliteitproblemen

Datakwaliteitproblemen zijn tekortkomingen in de kwaliteit van data die de betrouwbaarheid en bruikbaarheid ervan ondermijnen. Ze ontstaan in de hele dataketen: van verzamelen, invoeren en opslaan tot integratie en verwerking.

Belangrijke kwaliteitsdimensies zijn nauwkeurigheid, volledigheid, consistentie, tijdigheid, geldigheid en uniciteit. Soms worden ook bruikbaarheid en eenduidigheid genoemd.

Veelvoorkomende oorzaken zijn menselijke fouten in invoer, ontbrekende waarden, divergerende definities tussen systemen, duplicatie, foutieve integratie en migratie, verouderde data, en onvoldoende data governance.

Data van lage kwaliteit kan leiden tot verkeerde beslissingen, verkeerde klantcommunicatie, operationele inefficiëntie en compliancerisico's.

Effectieve aanpak kent vier pijlers: detectie (profiling, kwaliteitsregels, validiteitscontroles), reparatie (opschonen, deduplicatie, standaardisatie), governance en verantwoordelijkheid (data owners/stewards), en continu verbeteren (monitoring via dashboards). Ook is data lineage en metadata management nuttig.

Toepassingen van aandacht voor datakwaliteit zijn onder meer rapportages en dashboards, besluitvorming en compliance.

Standaarden en referentiekaders die vaak worden genoemd, zijn ISO 8000 en DAMA-DMBOK, die handvatten bieden voor data governance, kwaliteitsmeting en verbeteringsprocessen.