Attributenvolledigheid

Attributenvolledigheid is een maatstaf voor de mate waarin verwachte attributen in een dataset aanwezig en ingevuld zijn. Het begrip is vooral relevant in dataquality en data governance. Er is onderscheid tussen attributen die verplicht zijn en optionele attributen; de volledigheid kan op verschillende niveaus worden gemeten.

Op attributniveau meet men voor elk attribuut hoeveel procent van de records een waarde heeft. De attributenvolledigheid van attribuut A is het aandeel records waarin A niet ontbreekt. Op recordsniveau meet men voor elk record hoeveel procent van de vereiste attributen gevuld is. Een volledig record heeft alle vereiste attributen ingevuld. Over de hele dataset kan men de volledigheid uitdrukken als de verhouding tussen het totaal aantal ingevulde attributen en het totaal aantal vereiste attributen.

Waarom het belangrijk is, ligt in de impact op analyses, rapportages en modelvorming. Gebrekkige volledigheid verslechtert de betrouwbaarheid van resultaten en kan de besluitvorming beïnvloeden. Factoren die volledigheid beïnvloeden zijn onder meer invoerkwaliteit, systeemvalidaties, vereiste velden, constraintinstellingen (bijv. NOT NULL in databases), en ETL-processen.

Om volledigheid te verbeteren, kunnen maatregelen bestaan uit strengere validatie bij invoer, vereiste velden afdwingen, automatische imputatie waar mogelijk, regelmatige data-opschoning en duidelijke data governance die vastlegt welke attributen verplicht zijn en hoe ontbrekende waarden moeten worden behandeld.

Uitdagingen zijn onder meer ontbrekende waarden die niet willekeurig zijn (missing not at random), variërende definities van wat als “volledig” telt per context, en afgewogen afwegingen tussen volledigheid en data-sparzaamheid.

Zie ook: data quality, volledigheidsmetingen, imputatie, data governance.