logsannolikheten

Log-sannolikheten är naturliga logaritmen av sannolikhetsfunktionen för en given statistisk modell och uppsättning observerade data. Om X = (X1, ..., Xn) antas komma från en familj f(x; θ) med parameter θ, så är sannolikhetsfunktionen L(θ; X) = ∏i f(Xi; θ) och log-sannolikheten l(θ) = log L(θ; X) = ∑i log f(Xi; θ). Att använda log-sannolikheten omvandlar produkter till summor och ökar numerisk stabilitet vid beräkningar samt underlättar differentiering vid uppskattning av θ.

Genom att maximera l(θ) erhåller man maximum likelihood-estimatorn θ̂ = argmaxθ l(θ). Estimatorn uppvisar ofta god asymptotisk egenskaper och används i många inferensuppgifter. Denna metod är invariant under monotona omvandlingar av parametern, vilket innebär att en transformation av θ som behåller ordningen mellan parametrar inte ändrar platsen för optimum i log-sannolikhetsuttrycket.

Scorefunktionen och informationen är centrala verktyg i log-sannolikhetsbaserad inferens. Den rymmer dl/dθ, dvs. U(θ) = ∂l/∂θ, som sätts lika med noll i optimum. Den andra derivatan ∂²l/∂θ² vid θ̂ är vanligtvis ≤ 0. Fisher-informationen I(θ) definieras som I(θ) = -E[∂²l/∂θ²], och används för att beräkna standardfel, konfidensintervall och teststatistik.

Användningar inkluderar hypotesprövningar via likelihood-ratio-testet och informationsbaserade mått som AIC/BIC, vilka bygger på log-sannolikheten för modelljämförelser. Exempel: för en Bernoulli-fördelning med parameter p blir l(p) = k log p + (n−k) log(1−p) för k framgångar i n försök.