scorefunktionen

Scorefunktionen bezeichnet in der Statistik die Ableitung der Log-Likelihood-Funktion nach dem Modellparameter. Für eine Stichprobe X1, …, Xn mit Verteilungsmodell f(x; θ) ist die Log-Likelihood ℓ(θ) = ∑ log f(Xi; θ). Die Scorefunktion s(θ) ist der Gradient von ℓ: s(θ) = ∂ℓ(θ)/∂θ. Im eindimensionalen Fall reduziert sie sich auf s(θ) = ∂ℓ(θ)/∂θ; im mehrdimensionalen Fall s(θ) = ∇ℓ(θ).

Eigenschaften und Zusammenhang mit der Information: Unter regelmäßigen Annahmen gilt Eθ[s(θ)] = 0 bei dem wahren Parameter θ. Die Varianz von s(θ) ergibt die Fisher-Information I(θ) = Varθ[s(θ)] = -Eθ[∂^2ℓ(θ)/∂θ^2]. Für n unabhängige Beobachtungen ist sn(θ) = ∑ ∂ log f(Xi; θ)/∂θ und sn(θ) −>d Normalverteilung mit Erwartung 0 und Varianz nI(θ). Der Maximum-Likelihood-Schätzer θ̂ erfüllt s(θ̂) = 0; unter Regularität gilt θ̂ →d N(θ, I(θ)^{-1}) und I(θ) = -E[∂^2ℓ(θ)/∂θ∂θ^T].

Verwendung in der Inferenz: Scoretests (Lagrange-Multiplier-Tests) prüfen H0: θ = θ0 anhand von s(θ0); der Test nutzt die Verteilung von sn(θ0) unter H0, die approximativ N(0, nI(θ0)) ist. Die Scorefunktion verknüpft also Modellannahmen, Parameterinferenz und Hypothesentests über die Struktur der Log-Likelihood. Beispiele verdeutlichen die konkrete Form der Ableitung für gängige Verteilungen.