MLestimointi

ML-estimointi eli maximum likelihood estimation on tilastollinen estimointimenetelmä, jossa tuntemattomat parametrit θ pyritään määrittämään siten, että havaintoaineiston todennäköisyys mallin nojalla on mahdollisimman suuri. Mallissa data x = (x1, ..., xn) oletetaan noudattavan todennäköisyysmallia p(x|θ). Todennäköisyysfunktio L(θ) = prod_i p(xi|θ) kuvaa havaintoihin liittyvää todennäköisyyttä parametrien θ funktiona. Estimaattori θ̂ saadaan ratkaisemalla θ̂ = argmax_θ L(θ). Käytännössä käytetään usein log-todennäköisyyttä ℓ(θ) = log L(θ), joka helpottaa laskua ja lisää numeerista vakautta.

Ratkaisu voidaan löytää analyyttisesti tai numeerisesti. Usein optimoidaan ∂ℓ/∂θ = 0 tai käytetään numeerisia algoritmeja kuten gradienttiascent, Newton-Raphson tai BFGS. Monimutkaisissa malleissa, joissa on latentteja muuttujia, sovelletaan EM-algoritmia.

Ominaisuudet: MLE on johdonmukainen ja asymptoottisesti normaalinen oikean mallin vallitessa, ja sen asymptotillinen varianssi on I(θ)^{-1}, missä I on Fisherin informaatio. MLE on invariants reparametrisaation suhteen. Mallin identifiointi ja osamallin misspecifikaatio vaikuttavat tuloksiin; pienillä näytteillä estimointi voi olla epävakaa tai antaa useita maksimeja.

Rajoitukset ja lisäyksiä: MLE ei ota huomioon prioria kuten bayesialainen lähestymistapa, ja se voi olla herkkä ulkoisille poikkeaville havainnoille sekä mallin virheelliselle spesifikaatiolle. Yleensä käytetään säännöllistämistä (penalized MLE) kuten ridge- tai lasso-penalit, yhdistettynä tavanomaisiin tilastollisiin malleihin. Käyttökohteita ovat muun muassa lineaarinen ja logistinen regressio, seosmallit sekä piilotettujen tilavarastojen ja tilastollisten mallien estimointi.