maksimiluotettavuusmenetelmillä

Maksimiluotettavuusmenetelmillä tarkoitetaan tilastollisia estimointimenetelmiä, joissa parametrit määritellään siten, että havaintoihin perustuva todennäköisyysfunktio on mahdollisimman suuri. Yleinen perusmalli olettaa riippumattomat ja identtisen jakautuneet havainnot, joiden tiheys tai massakäyrä f(x; θ) tunnetaan tai voidaan määrittää. Likelihood-funktio L(θ) on tuotteen f(xi; θ) arvoista, ja MLE saadaan ratkaisemalla θ̂ = arg maxθ L(θ). Yleisesti hyödynnetään log-todennäköisyyttä ℓ(θ) = ∑i log f(xi; θ), koska se helpottaa laskentaa ja numeerista stabiilisuutta.

Keskeisiä ominaisuuksia ovat estimointitapahtuman konsistenssi (θ̂ lähestyy todellista arvoaan suurta otoskokoa kasvaessa), asymptotinen normaalius (√n(θ̂ − θ) on normaalijakautunut) ja tehokkuus (MLE-estiimi saavuttaa suurten otosten Cramér–Rao -alaindeksin rajoja). Osoitukset ovat invarianteja: muunnos g(θ) tuottaa MLE:n for g(θ) – muovin malli epäjärjestys. MLE:sta voidaan myös puhua tehokkuuden ja vakauden näkökulmasta, kun säännöt ja oletukset täyttyvät.

Laskenta tapahtuu pääsääntöisesti analyyttisesti silloin, kun suljettua ratkaisua on, mutta useimmiten käytetään numeerisia menetelmiä, kutenNewton-Raphsonia, Fisherin pistettä hyödyntävää laskentaa tai gradienttien suoraviivaista hakua. Latentteja muuttujia sisältävissä malleissa voidaan hyödyntää EM-algoritmia.

Sovelluksia on runsaasti: esimerkiksi tilastolliset mallit biostatistiikassa, econometricsissä ja koneoppimisessa (kuten logistinen regressio, yleisesti annetut lineaariset mallit ja piilotetut Markov-mallit). Rajoitteisiin kuuluu mallin oikeellisuus ja pienessä otossa esiintyvä harha sekä herkkyys poikkeaville havainnoille tai datan puuttumiselle; väärin määritellyt mallit voivat johtaa harhaanjohtaviin estimointeihin. MLE:tä käytetään yleisesti osana inferenssia sekä mallivalinnoissa AIC- ja BIC-kriteerien perusteella.