Estimatiemethode

Estimatiemethode is een procedure om onbekende parameters van een statistisch model af te leiden uit waarnemingen. Ze vormt een kern van statistische inferentie en wordt toegepast in onder meer econometrie, biostatistiek en engineering. Methoden kunnen parametric zijn (een vaste modelvorm met onbekende parameters) of nonparametric/semiparametric (minder vaste vorm).

Belangrijke eigenschappen van estimators zijn onder meer unbiasedness, consistentie en efficiëntie. In de praktijk is er vaak een bias-variance afweging; soms wordt een estimator met wat bias geaccepteerd omdat hij minder variatie oplevert. Bij grotere monsters nemen de asymptotische eigenschappen een grotere rol bij de beoordeling van betrouwbaarheid.

Veelgebruikte estimatiemethoden zijn onder andere: maximum likelihood estimation (MLE), waarmee men de parameterwaarden kiest die de kans op de waargenomen data maximaliseren; methode van momenten (MoM), waarbij steekproefmomenten gelijk worden gesteld aan theoretische momenten; least squares (OLS), vooral in lineaire regressie om de som van de gekwadrateerde residuen te minimaliseren; Bayesian estimatie, die priorinformatie combineert met data tot een posterior verdeling; instrumentele variabelen (IV) voor problemen met endogene variabelen; en (restricted) maximum likelihood (REML) voor homogene varianties in mixed models. Daarnaast bestaan niet-parametrische en semiparametrische technieken zoals kernel-based schattingen en regressie benaderingen die minder strikte aannames doen.

Procesmatig doorloopt men doorgaans de stappen: modelspecificatie en data verzamelen, keuze van estimatiemethode, berekenen van de schatting, en onzekerheidsmeting via standaardfouten of betrouwbaarheidsintervallen, gevolgd door diagnostiek en validatie. Voorbeelden zijn het schatten van het gemiddelde in een normaal verdeelde populatie (steekproefgemiddelde) en het schatten van regressieparameters met OLS.