maksimiluotettavuuslähestymät

Maksimiluotettavuuslähestymistavat (maksimaalisen todennäköisyyden menetelmät) ovat tilastollisia estimointimenetelmiä, joiden tavoitteena on valita parametriarviot siten, että malli tuottaa aineistolle suurimman mahdollisen todennäköisyyden. Näitä menetelmiä sovelletaan perusparametristen mallien estimointiin ja ne ovat keskeinen tapa arvioida mallin parametreja riippumatta aineiston koostumuksesta.

Perusperiaate: Jos aineisto X on mallinnettu parametreilla θ, likelihood L(θ) = P(X | θ). Usein käytetään log-todennäköisyyttä l(θ) = log L(θ), koska se helpottaa laskentaa. Tärkein estimaattori on θ̂, joka Maksimoi l(θ). Ratkaisu voidaan löytää analyyttisesti, jolloin ratkaisu täyttää score-funktion ∂l/∂θ = 0, tai numeerisesti iteratiivisilla menetelmillä kuten Newton-Raphson tai Fisherin informaation mukaan rakennetulla Fisherin ratkaisulla. Puuttuvien tietojen tapauksessa voidaan hyödyntää EM-algoritmia.

Ominaisuudet: Oikein toteutetut maksimiluotettavuusestimatointimenetelmät ovat johdonmukaisia ja asymptotisesti normaalijakaantuneita, jolloin ne ovat tehokkaita ja voivat saavuttaa Cramér–Rao-lajin alarajan. Invarianssi-ominaisuus tarkoittaa, että jos θ̂ onMLE, niin käsitefunktio g(θ̂) on myös sen funktioiden MLE. Mallin väärämallisuus voi heikentää estimointeja ja päätelmiä.

Sovellukset: Näitä lähestymistapoja käytetään laajasti tilastotieteessä, biostatistiikassa, taloustieteissä sekä koneoppimisessa. Malleja voivat olla normaalijakauma, binomijakauma, Poisson-jakauma sekä monimutkaisemmat sekoitus- ja stokastiset mallit. Testauksissa käytetään todennäköisyyspohjaisia menetelmiä kuten likelihood-ratio-testiä, ja mallin valinnassa hyödyntetään AIC- ja BIC-kriteerejä.

Historia: Maksimaalisen todennäköisyyden menetelmät juontuvat R. A. Fisherin työstä 1920-luvulta lähtien, ja ne ovat pysyneet keskeisinä estimointityökaluina tilastotieteessä sekä nykyisessä koneoppimisessa ja muissa sovelluksissa.