kernelmenetelmiä

Kernelmenetelmät ovat koneoppimisen menetelmiä, joissa ongelmaa lähestytään käyttämällä kernel-funktion kautta ilmentyviä kahden näytteen välisiä suhteita sen sijaan, että suoritettaisiin eksplisiittinen ei-lineaarinen muunnos. Kernel-trickin avulla data voidaan siirtää korkeamman, usein äärettömän ulottuvuuden ominaisuusavaruuteen siten, että malleja voidaan opettaa lineaarisina näissä tiloissa. Mercerin teoreeman mukaan positiivisesti määritellyt kernel-funktiot vastaavat sisätilan mittausta jossain ominaisuusavaruudessa.

Yleisiä kernel-funktioita ovat lineaarinen k(x, x') = x·x', polynominen k(x, x') = (α x·x' + c)^d sekä Gaussin (RBF) kernel k(x, x') = exp(-||x - x'||^2 /(2σ^2)). Muita yleisiä valintoja ovat sigmoid- ja Laplace-kernel-funktiot. Eri kernelien avulla voidaan mallintaa erilaisia epälineaarisia riippuvuuksia ilman eksplisiittista muunnosta.

Tyypillisiä algoritmeja ovat tukivektorikoneet (SVM), kernel ridge regression sekä kernel PCA. SVM:n tapauksessa optimointi ratkaistaan dualimuodossa ja ratkaisu riippuu Gram-matriisista K, jonka i, j –elementit ovat K_ij = k(x_i, x_j).

Edut ja rajoitteet: kernelmenetelmät voivat mallintaa epälineaarisia riippuvuuksia ilman eksplisiittista muunnosta ja ovat joustavia erilaisten kernels-valintojen kautta. Rajoitteita ovat kernelin ja hyperparametrien valinnan herkkyys sekä laskennallinen ja muistillinen kuormitus: koulutus skaalautuu suurimmaksi osaksi O(n^3) ajassa Gram-matriisin koon mukaan. Suurille datasetille käytetään Nyström- tai satunnaisten piirteiden menetelmiä.

Sovelluksia ovat kuvantunnistus, bioinformatiikka, puhe- ja tekstiluokitus sekä aikasarja-analyysi. Kernelmenetelmät muodostavat tärkeän osan perinteisiä ja moderni-oppimisen työkalupankkeja.