Scorefunktioner

Scorefunktioner i statistik beskriver hur sannolikhetsmodellen förändras när parameterna ändras. I praktiken är scorefunktionen gradienten av log-likelihoodfunktionen med avseende på parameter θ. För θ ∈ R^k definieras den som U(θ) = ∂ℓ(θ; x)/∂θ, där ℓ(θ; x) = log L(θ; x) är log-sannolikheten för de observerade data x.

Under vanliga regularitetsantaganden har man Eθ[U(θ)] = 0 och Varθ[U(θ)] = I(θ), där I(θ) är Fisher-informationsmatrisen. För ett i.i.d. prov är U_n(θ) = ∑i ∂ℓ_i(θ)/∂θ och I_n(θ) = n I(θ). Dessa egenskaper används i inferens och estimering.

Användning inkluderar:

- Maximum likelihood-estimering där θ̂ uppnås genom att lösa U(θ̂) = 0, villkoren för regularitet uppfyllda.

- Hypotesprövning med scoretest (Lagrange multipliers-test), där teststatistiken U(θ0)ᵀ I(θ0)⁻¹ U(θ0) följer asymptotiskt χ² för frihetsgrader lika med antalet parametrar under nollhypotesen.

- Relation till andra tester: Wald-test och sannolikhetsförhållande test (likelihood ratio) är närbesläktade metoder.

Utöver traditionell statistik används termen scorefunktion i maskininlärning i andra sammanhang, till exempel score matching (Hyvärinen score) för obestämda eller obeställda sannolikheter. Scorefunktioner därutöver ger verktyg för teoretisk analys av estimators egenskaper och teststatistikers beteende i stora prov.