Dataverschuivingen

Dataverschuivingen verwijzen naar veranderingen in de statistische distributies van data die worden gebruikt voor het trainen en evalueren van modellen. Zulke verschuivingen kunnen leiden tot verminderde prestaties, bias of ongewenste beslissingen wanneer een model in een andere situatie wordt toegepast dan waarvoor het oorspronkelijk is ontworpen.

Er zijn verschillende soorten verschuivingen. Covariate shift treedt op wanneer de inputdistributie P(X) verandert terwijl de relatie tussen input en output, P(Y|X), hetzelfde blijft. Concept drift verwijst naar veranderingen in de relatie tussen input en output, oftewel in P(Y|X). Binnen concept drift wordt vaak onderscheid gemaakt tussen virtual drift en real drift: virtual drift beschrijft veranderingen in P(X) met een onveranderde P(Y|X), terwijl real drift betreft dat de relatie P(Y|X) zelf verandert. Een aanverwante notie is dat ook veranderingen in het labelverdelingspatroon P(Y) zonder directe verandering in X kunnen optreden, wat de interpretatie van modellen beïnvloedt.

Oorzaken van dataverschuivingen zijn onder meer tijdsgebonden veranderingen in de populatie van bezoekers of klanten, seizoensinvloeden, wijziging van meetapparatuur of dataverzamelingsprocedures, proceswijzigingen in productielijnen en beleids- of reguleerwijzigen. Dergelijke factoren kunnen voorkomen in vrijwel elk domein, zoals financiën, gezondheidszorg, retail en weer- of klimaatmodellen.

Detectie en mitigatie vereisen continu monitoring van modelprestaties en statistische driftmetingen. Technieken omvatten driftdetectiemethoden en monitoring van prestatie-indicatoren, evenals retraining, online leren of adaptieve modellen wanneer verschuivingen worden gedetecteerd. In sommige gevallen kan domeinadaptatie of ensemble-methoden helpen om robuuster om te gaan met verschuivingen.

Kortom, dataverschuivingen zijn een fundamenteel aandachtspunt voor duurzaam en verantwoord gebruik van data-gedreven systemen.