datarprofilering

Datarprofilering, vaak vertaald als data profiling, is het proces waarbij gegevensbronnen worden onderzocht en samengevat om de inhoud, structuur en kwaliteit van de data inzichtelijk te maken. Het past binnen data governance, datakwaliteit en metadatabeheer en kan ook verwijzen naar profilering van personen in privacy-contexten, afhankelijk van de context.

Tijdens data profiling worden statistieken en kenmerken van datasets berekend, zoals volledigheid (missende waarden), juistheid, consistentie, validiteit en uniciteit. Ook worden data-types, formaten en patroonherkenning (bijv. datum- of telefoonnummerformaten) in kaart gebracht. Het doel is inzicht te krijgen in kwaliteit en bruikbaarheid.

Het proces omvat meestal het scopen van de opdracht, het verzamelen van relevante bronnen, het toepassen van profiling-regels en het produceren van samenvattende rapporten en metadata. Uitkomsten zijn onder meer kwaliteitsmetingen, foutlijsten, een data dictionary en aanbevelingen voor verbetering of opschoning van de data.

Toepassingen zijn onder meer ondersteuning bij data-integratie, migratie en het opbouwen van een data-katalogus. Uitdagingen zijn heterogene datasetstructuren, grote volumes, prestaties en privacy-implicaties bij profilering van personen. Naleving van regelgeving zoals de AVG (GDPR) en principes van minimalisatie en rechtmatige verwerking spelen hierbij een rol.

Stakeholders zijn onder meer data-eigenaren, data stewards en data-analisten. Goede praktijken omvatten documentatie van normen, continue kwaliteitsmonitoring en afstemming met het bredere data governance-kader.