Logsannsynligheter

Logsannsynligheter, eller log-likelihood, er logaritmen til sannsynligheten for å observere datasettet gitt et sett parametre i en statistisk modell. Begrepet brukes for å vurdere hvor godt modellen passer dataene og spiller en sentral rolle i estimering og inferens.

Gitt uavhengige observasjoner x1, …, xn fra en fordeling med sannsynlighet eller tetthet P(x|θ), er sannsynligheten L(θ) = ∏i P(xi|θ). Log-sannsynligheten er L̃(θ) = log L(θ) = Σi log P(xi|θ) (eller Σi log f(xi|θ) for tettheter). Denne transformasjonen gjør at et produkt blir en sum, noe som ofte gir bedre numerisk stabilitet og lettere differensiering.

Når man maksimerer L(θ), maksimerer man også log-sannsynligheten. Negative log-likelihood brukes som tapsfunksjon i gradientbasert optimering. Log-sannsynlighet er også fordelaktig fordi den lar oss lettere kombinere bidragene fra mange observasjoner.

Eksempel: ved et myntkast med sannsynlighet for hode p, er L(p) = p^k (1−p)^{n−k} og log L(p) = k log p + (n−k) log(1−p). Dette viser hvordan produkter blir summer i log-skalaen og hvordan dataene påvirker estimatet av p.

Anvendelser inkluderer modellvalg (AIC og BIC), sannsynlighets- og likelihood-ratio tester, samt innlemming i Bayesiansk analyse via log posterior. Vanligvis brukes naturlig log som base, fordi den ikke endrer argmax og gir enklere matematikk.