Gaussianprosessit

Gaussianprosessit (GP:t) ovat jouko satunnaismuuttujia, jotka on järjestetty indeksointiin liittyvälle alueelle X siten, että mikä tahansa X:n valittu joukko tuottaa monimuuttujaisen normaalijakauman. Tämä tarkoittaa, että haitaraportin kohteena olevan funktion arvojoukko voidaan lähestyä priorina epävarmuutena siten, että f(x) on satunnainen funktio. GP:t määritellään kahdella funktiolla: odotusarvointini m(x) = E[f(x)] ja kovarianssifunktio k(x, x') = Cov(f(x), f(x')). Tämän määritelmän mukaan millä tahansa n pisteellä x1, ..., xn vektori (f(x1), ..., f(xn)) noudattaa multivariaattijakaumaa N(m(X), K(X,X)), jossa m(X) on vektori [m(x1), ..., m(xn)] ja K(X,X) on matriisi [k(xi, xj)].

Ydinfunktioiden valinta määrittelee sen, millaista epävarmuutta ja millaista rakenteellista oletusta GP:llä on. Yleisiä ydinfunktioita ovat esimerkiksi squared exponential (RBF), Matérn-tyypit sekä periodiset ja kombinaatiokertoimet. Ydinfunktio- sekä odotusarvokonfiguraation avulla GP voi kuvata erimuotoisia funktioita ja niiden soveltuvuutta tietyntyyppisiin datoihin sekä niiden mukaan koodaamaaan huomioita sileydestä ja toistuvuudesta.

Käytännössä Gaussianprosessit ovat yleisin Bayesin ei-parametrinen menetelmä regression ja epävarmuuden edustamiseen. Kun havainnot ovat muotoa y = f(x) + ε, missä ε on normaalisti jakaantunut virhe, f(x) noudattaa GP:ä priorina ja tuottama posteriori f(x) tietyissä pisteissä voidaan laskea sulavasti analyyttisesti. Esimerkiksi posteriori f(x) on normaalijakauma with mean ja varianssi, joita voidaan laskea kernelmenttien ja havaintoarvojen avulla. Yleinen muutosjakauma y vastaaville uusille pisteille on myös normaalin muodossa.

GP:t ovat sovellettavissa laajasti: regressio, tilastollinen kartoitus ja kriging, aika-sarjat, spatial statistics sekä Bayesin optimointi, jossa GP toimii surrogaattiluokkana. Suurin haaste on laskennallinen: otosmäärien kasvaessa n nousee, jolloin matriisien koodaukset vaativat O(n^3) laskentaa; tähän on kehitetty pienkäsittely- ja likimääräisiä menetelmiä.

Historia: Gaussianprosessit ovat klassinen käsite tilastotieteessä ja toistuvat vahvasti koneoppimisessa. Moderni käytäntö GP:tä on laajasti kuvattu kirjassa Gaussian Processes for Machine Learning (Rasmussen ja Williams, 2006), joka on omalta osaltaan standardi viite GP-kontekstissa. Jatkuvasti kehittyväksi kentäksi GP:t tarjoavat joustavan ja läpinäkyvän tavan epävarmuuden ja rakenteen mallintamiseen.