Resamplingtechnieken

Resamplingtechnieken zijn statistische methoden die gebruikmaken van herhaalde steekproeven uit de waargenomen data om de variatie van een statistiek te beoordelen of de prestaties van een model te evalueren, zonder strikte parametrische aannames. Het kernidee is dat de bestaande dataset als representatieve mogelijkheid kan dienen om de verdeling van een statistiek te simuleren. De resampling kan met vervanging plaatsvinden of zonder vervanging, afhankelijk van de methode en de doelstelling.

Bekende resamplingtechnieken zijn bootstrap, jackknife en cross-validation. Bootstrapping maakt herhaalde steekproeven met vervanging uit de originele data, waarna men de statistiek berekent en de verdeling via meerdere resamples benadert. Dit levert schattingen van bias, variantie en onzekerheidsintervallen op. De jackknife biedt een minder computationeel intensieve variant door systematisch datapunten achtereenvolgend weg te laten en daarmee bias- en variantie-inzichten te verkrijgen. Cross-validation verdeelt de data in trainings- en toetssets om de prestaties van een model buiten de trainingsdata te toetsen; veelgebruikte varianten zijn k-fold en leave-one-out.

Permutatietesten gebruiken willekeurige herordening van de data om een nulverdeling van de teststatistiek op te bouwen, wat helpt bij het toetsen van hypothesen zonder aannames over de verdeling. Bootstrap-ensemble of bagging (bootstrap aggregating) past bootstrap toe bij meerdere modellen en combineert hun voorspellingen om de variantie van het model te verminderen. Voor tijdreeksen bestaan aangepaste methoden zoals block- of moving-block bootstrap die rekening houden met afhankelijkheden tussen waarnemingen.

In toepassingen zoals statistiek, econometrie en machine learning ondersteunen resamplingtechnieken de evaluatie van onzekerheid, modelselectie en robuuste schattingen wanneer parametrische aannames beperkt of onzeker zijn. Belangrijk is rekening houden met afhankelijkheden in data en de benodigde hoeveelheid rekentijd bij grote datasets.