Datauitbijters

Datauitbijters, in datawetenschap vaak afgekort tot uitbijters, verwijzen naar gegevenspunten die aanzienlijk afwijken van de rest van de waarnemingen in een dataset. Ze kunnen optreden in zowel univariate als multivariate data en kunnen verschillende oorzaken hebben, zoals meetfouten, invoerfouten, zeldzame maar legitieme gebeurtenissen of werkelijk extreme waarden die systeemgedrag weerspiegelen. Het onderscheid tussen incidentele uitbijters en systematische fouten is cruciaal voor de interpretatie en de validiteit van analyses.

Detectie van uitbijters gebeurt met statistische en machine learning-methoden. Veelgebruikte statistische benaderingen zijn de z-score (waarden buiten een bepaald aantal standaarddeviaties) en de IQR-methode die uitbijters afbakent met Q1 - 1,5·IQR en Q3 + 1,5·IQR. Geavanceerdere technieken omvatten unsupervised algoritmen zoals DBSCAN, Local Outlier Factor en isolation forest, die afwijkend gedrag in meerdere dimensies beoordelen.

Behandeling van uitbijters hangt af van de context en doelstelling. Mogelijkheden zijn uitsluiting van de data, transformatie van variabelen (bijvoorbeeld logaritmische of Box-Cox-transformatie), winsorizing (het begrenzen van extreme waarden) of het gebruik van robuuste statistieken zoals de mediaan en de middelingsafwijking (MAD) die minder gevoelig zijn voor uitbijters.

In de praktijk kunnen uitbijters informatieve signalen bevatten (bijvoorbeeld fraude, meetfouten, klimaat- of marktdynamiek), maar ze kunnen analyses ook vertekenen als ze onzorgvuldig worden behandeld. Transparantie over de aanwezigheid en behandeling van uitbijters is daarom een belangrijk onderdeel van gegevensanalyse en rapportage.