Datavoorbewerking

Datavoorbewerking, ook wel data preprocessing genoemd, omvat het transformeren en schoonmaken van ruwe data zodat deze geschikt is voor analyse of modellering. Doel is de kwaliteit en bruikbaarheid van de dataset te verhogen: ruis verwijderen, inconsistenties corrigeren, ontbrekende waarden afhandelen en de data geschikt maken voor statistische methoden of machine learning. Het is een fundamenteel onderdeel van datapijplijnen en gebeurt meestal iteratief en herhaalbaar, vaak ondersteund door software en tooling.

Belangrijke activiteiten zijn data cleaning (opschonen van fouten, duplicaten verwijderen, inconsistenties corrigeren), data-integratie (samenvoegen van data uit meerdere bronnen), gegevens-transformatie (normalisatie, standaardisatie, transformatie van scheef verdeelde verdelingen), codering van categorische variabelen (one-hot, label encoding), omgaan met ontbrekende waarden (imputatie), en data-reductie of feature selectie om het model te helpen presteren en overfitting te voorkomen. Ook sampling en detectie van outliers kunnen worden toegepast.

Technieken omvatten imputatie (gemeten waarden, mediaan, modus, KNN-imputatie, multiple imputatie), normalisatie en standaardisatie (min-max, Z-score), transformatie zoals log- of Box-Cox-transformatie, encodering van categorische variabelen, en dimensionaliteitsreductie zoals PCA of SVD. Data-integratie en deduplicatie zorgen voor consistentie tussen bronnen.

In praktische toepassingen wordt datavoorbewerking vaak geautomatiseerd in datapijplijnen met bibliotheken en tools, zoals Python met pandas en scikit-learn, of R met tidyverse. Belangrijk is het vermijden van data leakage, zodat preprocessing niet op volledige dataset wordt toegepast voordat er een trainings-/testverdeling is; reproducibiliteit, documentatie en versiebeheer zijn essentieel.