Kernefunktionen

En kernefunktion er en funktion k: X × X → R, der måler lighed mellem to input og muliggør beregning af indre produkter i et højdimensionelt eller implicit defineret featurerum. En kernefunktion forventes normalt at være symmetrisk (k(x, y) = k(y, x)) og positiv semidefinit, hvilket betyder at Gram-matricen K med Kij = k(xi, xj) for enhver endelig mængde af punkter x1, ..., xn er positive semidefinit. Den positive semidefinithed gør det muligt at bruge kerneltricket: man kan beregne indre produkter i featurerummet uden eksplicit at kende φ, idet k(x, y) = ⟨φ(x), φ(y)⟩. Dermed kan lineære læringsalgoritmer anvendes på ikke-lineært separerbare data.

De mest anvendte kernefunktioner inkluderer linear, polynomial, Gaussian (RBF) og sigmoid. Lineær k(x, y) = x^T y svarer til ikke-udvidet lineær afbildning; polynomialkernen k(x, y) = (γ x^T y + r)^d giver et polynomielt featurerum; Gaussian eller RBF-kernen k(x, y) = exp(-||x - y||^2 / (2σ^2)) tilføjer næsten uendeligt mange funktionelle dimensioner; sigmoidkernen k(x, y) = tanh(γ x^T y + r) minder om fordelingsfunktion i neurale netværk. For at sikre Mercer-egenskaberne skal kernerne være kontinuerte og PSD på det domæne, hvor de anvendes.

Kerner bruges i en række metoder, herunder support vector machines, kernel ridge regression og kernel principal component analysis, samt i probabilistiske modeller som Gaussian processer, hvor kernefunktionen spiller rollen som kovariansfunktion. Valg af kerne og dens parametre (f.eks. γ, σ, d) afhænger af data og opgaven, og krydsvalidering er en almindelig metode til at finde passende indstillinger. Kernefunktioner giver derfor et værktøj til at udvide lineær læring til komplekse, ikke-lineære problemer uden eksplicit at skulle beskrive høj-dimensionale featurerum.