Parameterinschattingen

Parameterinschattingen verwijzen naar het proces van het bepalen van numerieke waarden voor onbekende parameters in een statistisch model op basis van waarnemingen. Hierbij onderscheidt men puntenschattingen, die een enkel getal geven, en interval- of schattingen die een onzekerheidsbereik aangeven. De parameters vormen een vector θ die de relatie tussen variabelen beschrijft.

Frequentistische benaderingen kiezen een estimator θ̂ door een wiskundige optimalisatie. Veelvoorkomende methoden zijn maximum likelihood estimation (MLE), kleinste kwadraten bij lineaire modellen en de methode van momenten. MLE selecteert de θ die de kans op de waargenomen data maximaliseert; kleinste kwadraten minimaliseert de som van de gekwadrateerde residuen. Eigenschappen van estimators worden onderzocht via bias, consistentie en efficiëntie. Bij grote steekproeven zijn MLE en LS vaak asymptotisch normaal en kunnen betrouwbaarheidsintervallen afgeleid worden; het Cramér-Rao-limiet geeft een theoretisch lage grens voor de variantie.

Bayesiaanse parameterinschatting werkt met een prior π(θ) en werkt deze bij met data via de kans p(data|θ). De resulterende posterior p(θ|data) levert puntenschattingen zoals de verwachtingswaarde of de mediaan en credible intervals. In tegenstelling tot het frequentistische begrip van onzekerheid interpreteren credible intervals de kans dat θ binnen het interval ligt, gegeven de data en de prior.

Praktische aspecten omvatten identificeerbaarheid, modelmisspecificatie en overfitting. Regulatie zoals ridge en lasso stabiliseert estimaties in ill-posed of hoog-dimensionale systemen. Bij complexe modellen worden numerieke optimalisatie, EM-algoritmes of Markov-keten-Monte-Carlo-methoden (MCMC) ingezet.

Parameterinschattingen zijn cruciaal in vele vakgebieden zoals economie, biostatistiek en engineering en vormen de basis voor voorspellingen, simulaties en besluitvorming.