Kärnfunktioner

Kärnfunktioner, eller kernelfunktioner, är funktioner K som tar två ingångar x och y från ett domänutrymme X och returnerar ett reellt tal. Inom maskininlärning definieras ofta kärnan så att K(x,y) = ⟨φ(x), φ(y)⟩ för en karta φ till ett (ofta högdimensionellt) feature space. Detta gör det möjligt att beräkna inre produkter i högdimensionella eller till och med oändliga dimensioner utan att explicit beräkna φ(x) – så kallat kerneltrick.

Mercers sats säger att på ett kompakt domän och för kontinuerligt positivt semidefinita kärnfunktioner kan K uttryckas via egenfunktioner: K(x,y) = ∑ λ_i e_i(x) e_i(y), vilket ger en teoretisk förståelse av hur kärnan separerar data i ett funktionellt utrymme.

Vanliga exempel på kärnfunktioner är: linjär kernel K(x,y) = x^T y, polynomkernel K(x,y) = (x^T y + c)^d, och Gaussian eller RBF-kernel K(x,y) = exp(-||x−y||^2 / (2σ^2)). Det finns även Laplace- och andra familjer av kärnor. Egenskaperna symmetri och positiv semidefinititet gör att kärnor kan kombineras genom summor och produkter och ändå vara kärnor.

Användningar förekommer inom maskininlärning och statistik, särskilt i stödvektormaskiner, kernel ridge regression och kernel principal component analysis. Valet av kärna och dess hyperparametrar påverkar modellens bias-variance-handel och optimeras ofta med korsvalidering. Kärnfunktioner används även i Gaussian processer och i vissa lösningar av integrala ekvationer.