Maximumlikelihoodestimering

Maximumlikelihoodestimering, ofte forkortet MLE, er en statistisk metode for å estimere ukjente parametere i en sannsynlighetsmodell ved å maksimere sannsynligheten for de observerte dataene.

Gitt uavhengige observasjoner x1, ..., xn fra en familie av tetthetsfunksjoner f(x|θ), er sannsynligheten L(θ) = ∏_{i=1}^n f(xi|θ) kalt likelihood. Estimatoren θ̂ er argmax_θ L(θ) (eller equivalently argmax_θ log L(θ)). MLE har ofte god egenskapbarhet og en naturlig variasjon som gjør det utbredt i praksis. Det er også invariant under monotone transformasjoner: hvis θ̂ maksimerer L, maksimerer g(θ̂) også sannsynligheten for g(θ).

Eksempelvis: Normalfordeling med kjent varians σ^2. Hvis X_i ~ N(μ, σ^2), er L(μ) ∝ exp(-∑(x_i - μ)^2/(2σ^2)), og μ̂ = x̄. For Bernoulli(X_i ~ Bernoulli(p)) er p̂ = (∑ X_i)/n.

Egenskaper og vilkår: Under vanlige regularitetsbetingelser er θ̂ konsistent og asymptotisk normal: √n(θ̂ − θ) → N(0, I(θ)^{-1}), hvor I(θ) er Fisher-informasjonen. MLE-er er ofte asymptotisk effektiv og oppfyller Cramér–Rao-lower bound.

Praktiske aspekter: ved enkle modeller kan man finne analytiske løsninger; ellers brukes numerisk optimering (gradientbaserte metoder, Newton-Raphson). Viktige vurderinger inkluderer valg av startverdier, konvergens og risikoen for lokale maksimum eller modellinkompatibilitet.