Kernelregressiossa

Kernelregressiossa on ei-parametrinen tilastollinen menetelmä, jolla estimoi riippuvan muuttujan odotetun arvon selittäjien huomioimalla ilman etukäteen määriteltyä muodollista suhdetta. Toteutus perustuu kernel-funktioihin, jotka painottavat havaintoja niiden etäisyyden mukaan. Yleisin esimerkki on Nadaraya-Watsonin estimaattori, jossa regressiomittari m_hat(x) määritellään painotetuksi keskiarvoksi: m_hat(x) = sum_i K((x - X_i)/h) Y_i / sum_i K((x - X_i)/h). Tässä K on kernel-funktio ja h on bandwidth, jolla säädetään tasoituksen laajuutta. Suurempi bandwidth tuottaa sileämmän mutta vähemmän reagoivan käyrän, pienempi taas voi tarttua liikaa vaihteluihin.

Useita kernel-funktioita voidaan käyttää, kuten Gaussian, Epanechnikov tai Uniform. Kernelin ja bandwidthin valinta vaikuttavat merkittävästi tuloksiin; bandwidthia valitaan tavallisesti ristivalidoin, plug-in -menetelmin tai säädettävillä periaatteilla. Kernel-regressio on joustava ei-parametrinen menetelmä, mutta sen suorituskyky heikkenee korkeilla ulottuvuuksilla ja suurissa aineistoissa johtuen laskennallisista kustannuksista sekä ”curse of dimensionality” -ilmiöstä.

Myöhemmät lähestymistavat sisältävät lokalpolynomisen regresion, joka käyttää lähimpien havaintojen polynomifunktiota ja voi parantaa harhautusta ja tulkittavuutta. Kernelregressiota sovelletaan muun muassa signaalinkäsittelyssä, ajan sarjojen analyysissä, ekonometria ja biostatistiikassa, kun muodon oletus on epävarma. Tulosten tulkinta riippuu valitusta kernelista ja bandwidthista, joten diagnostiikka ja viitemittarit ovat tärkeässä asemassa.