kernelfunctie

Een kernelfunctie is een functie k: X × X → R die de overeenkomst tussen twee invoeren meet en veelvuldig wordt toegepast in kernelmethoden binnen machine learning en statistiek. Kernelfuncties maken het mogelijk om vergelijkingen tussen data te maken zonder expliciete mapping naar een mogelijk hoge-dimensieruimte.

In de kern van de kerneltrick bestaat er een kaart φ van de invoerruimte X naar een feature space F zodanig dat k(x, y) gelijk is aan het innerlijke product van φ(x) en φ(y) in F. Dit laat algoritmen die innerlijke producten vereisen werken met data in een vaak onzichtbare hoge-dimensionaliteit, zonder de mapping zelf uit te voeren.

Een kernelfunctie is meestal symmetrisch en positief semidefinitief. Voor elke finite subset van punten x1, ..., xK levert de Gram-matrix K met elementen k(xi, xj) een PSD-matrix op. Deze eigenschap onderstreept het bestaan van een reproducerende kernel-Hilbertruimte (RKHS) en is gerelateerd aan Mercer's theorema.

Populaire voorbeelden zijn onder meer de lineaire kernel k(x, y) = x^T y, de polynoomkern k(x, y) = (γ x^T y + c)^d, en de Gaussian of RBF-kernel k(x, y) = exp(-γ||x - y||^2). Andere voorbeelden zijn de sigmoïde kernel en varianten die geschikt zijn voor specifieke taken.

Toepassingen omvatten onder meer support vector machines (SVM), kernel ridge regression, kernel PCA en spectrale clustering. Bij praktische implementatie wordt een Gram-matrix K berekend met Kij = k(xi, xj). De keuze van het kernelfunctietype en de bijbehorende hyperparameters (zoals γ, d, coef0 en regularisatieparameter C) heeft een grote invloed op prestaties en generalisatie. Computational cost en parameterafstemming blijven belangrijke overwegingen bij het gebruik van kernelfuncties.