informaatiomatriisin

Informaatiomatriisi, usein Fisherin informaatiomatriisina, on tilastotieteen käsite, joka mittaa sitä, kuinka paljon data antaa tietoa parametrien θ arvoista mallissa. Se määritellään log-likelihoodin gradientin s(x; θ) = ∂ log f(x; θ) / ∂θ perusteella: I(θ) = E[ s(X; θ) s(X; θ)^T ]. Tässä f(x; θ) on havaintoja mallintavan todennäköisyysfunktio, ja odotus on otettu oikean tuntemattoman parametrin θ suhteen. Vastaavasti I(θ) = - E[ ∂^2 log f(X; θ) / ∂θ ∂θ^T ]. Näiden kahden määritelmän odotukset ovat yhdenmukaiset säännöillä.

Ominaisuudet: Informaatiomatriisi on symmetrinen ja positiivisesti semidefiniittinen; identifioituvassa mallissa se on positiivisesti definiittinen monelle parametrille. Riippumattomien havaintojen tapauksessa informaatiomatriisi lisääntyy n-havainnoissa: I_n(θ) = n I_1(θ). Tämä mahdollistaa tehokkuusvertailut ja suunnittelun.

Käyttötarkoitukset: Informaatiomatriisilla on keskeinen rooli Cramér–Rao -alihin rajassa, jossa Cov(ˆθ) ≥ I(θ)^{-1} tietyissä säännöissä. Maksimaalisen todennäköisyyden estimoinnin (MLE) hajonta on asymptootisesti I(θ)^{-1}/n, mikä kuvaa estimoinnin tarkkuutta suurissa otoksissa.

Laskenta käytännössä: voidaan käyttää odotettua informaatiota I(θ) tai havaittua informaatiota J(θ) = - ∂^2 log L(θ)/∂θ ∂θ^T arviolta θ = ˆθ. Esimerkkejä: normaalijakauma N(μ, σ^2) tunnetulla σ^2: I(μ) = 1/σ^2 per havainto; Bernoulli(p): I(p) = 1/[p(1−p)] per havainto.

Käytännössä informaatiomatriisi mittaa, miten tehokkaasti data riittävästi tuottaa tietoa parametrien arvoista ja miten tämä vaikuttaa estimaattoreiden tarkkuuteen.