Kovarianssimatriisi

Kovarianssimatriisi on n x n -kokoinen matriisi, jonka i-tä ja j-ttä rivi ja sarake vastaavat satunnaismuuttujien Xi ja Xj kovarianssia. Määritelmä: Sigma = Cov(X) = E[(X − μ)(X − μ)ᵀ], missä X on nulkeavapisteinen tai yleisemmin ehtymättömien hetkien satunnaisyhteys ja μ = E[X] on X:n odotusarvo. Kovarianssimatriisi on aina symmetrinen ja positiivisesti semidefiniitti (PSD). Dieoraalin diagonaaliset eltoimet Var(Xi) ovat muuttujien variansseja.

Sampelikokoonpanossa käytetään havaintoja vectorsarjoina. Antaen m havaintoa X₁, X₂, ..., X_m, havaittu kovarianssimatriisi S lasketaan kaavalla S = (1/(m−1)) ∑_{k=1}^m (x_k − x̄)(x_k − x̄)ᵀ, jossa x̄ on havaintoikkunan keskiarvo. Tämä on harvoin varmuudelle paras estimointiväline, mutta se on yleisesti käytetty. S on PSD ja sen ominaisarvot ovat ei-negatiivisia; jos data on riittävän monipuolista ja muuttujat ovat lineaarisesti erillisiä, S voi olla PD (invertible).

Kovarianssimatriisi vaikuttaa moniin multivariaattisiin menetelmiin. Se määrittää ellipsoidisen kuvauksen X:n hajonnasta ja on perusta PCA:n, kertoidyn analyysin ja monin tavoin kriittinen normaalijakaumakuvauksissa. Se mahdollistaa etäisyyksien, kuten Mahalanobisin etäisyyden, määrittämisen: d_M(x) = sqrt((x − μ)ᵀ Σ⁻¹ (x − μ)).

Ominaisuudet ja tulokset: Cov(Ax + b) = A Cov(x) Aᵀ, mikä kuvaa kovarianssin käyttäytymistä lineaarisissa muunnoksissa. Kovarianssimatriisi on PSD ja on PD, kun muuttujien lineaariset riippuvuudet eivät aiheuta singulariteettia. Kun muuttujat skaalataan, kovarianssi muuttaa muotoaan ja korrelaatiomatriisi saadaan normalisoimalla diagonaalilla olevat varianssit.