Gaussianprosessin

Gaussianprosessin on stohastinen prosessi, jonka ominaisuus on, että minkä tahansa pistemäisen otoksen f(x1), ..., f(xn) yhteisjakauma on monimuuttujainen normaali. Prosessi määritellään odotusarvifunktion m(x) = E[f(x)] ja kovariansiolfunktion k(x, x') = Cov(f(x), f(x')). Tällä parametroinnilla f(x) voidaan pitää priorsina ei-parametriselle funktiolle, ja sen avulla voidaan laskea sekä funktion arvot että niihin liittyvä epävarmuus.

Yleisesti käytettyynyt malli muodostetaan havainnoista y_i = f(x_i) + ε_i, jossa ε_i ~ N(0, σ^2). Tämän seurauksena f|D on Gaussinen, ja sen posteriorijakauma on normaalivariantti. Posteriorella odotusarvolla on muoto

m_post(x*) = m(x*) + k(x*, X)[K(X,X) + σ^2 I]^{-1} (y - m(X)),

ja posteriorinen kovariansi

k_post(x*, x*) = k(x*, x*) - k(x*, X)[K(X,X) + σ^2 I]^{-1} k(X, x*).

Näillä funktioilla voidaan tehdä sekä piste-ennusteita että luottaa ennustezmääriin uusia pisteitä kohden.

Kovarianssifunktioita eli kernel-funktioita on useita: squarred exponential eli RBF- tai Gaussian- kernel, Matérn-perhe, periodiset sekä näiden yhdistelmät. Kernelin valinta ja hyperparametrit (esimerkiksi pitkä mitta- eli length-scale l ja tilavuus varianssi σ_f^2) ovat olennaisia ja ne voidaan oppia maksimoimalla marginaalijakaumaa tai käyttämällä Bayesian-hierarkiaa.

Käyttökohteita ovat yhdistetty regresio, kriging-spatial statistikassa sekä emulointi ja Bayesiläinen optimointi. Gaussianprosessit tarjoavat sekä ennusteet että epävarmuuden, mutta suurille datamäärille ne voivat olla laskennallisesti vaativia, jolloin sovelluksia tukevat esimerkiksi harvennetut GP:t ja latenttivariaatta-近ingi-menetelmät.

---