Kernematrixen

Kernematrixen, in het Nederlands vaak aangeduid als kernel- of Gram-matrixen, is een matrix K met n rijen en kolommen, waarin de entry Kij wordt gedefinieerd als k(xi, xj) voor een gekozen kernelfunctie k en de dataset {x1, ..., xn}.

Als k een geldige kernel is, bestaat er een kaart phi naar een featureruimte zo dat k(x, x') = <phi(x), phi(x')>. In dat geval is de kernelmatrix K gelijk aan Phi Phi^T, waar Phi de matrix is met de getransformeerde data kolomvectoren phi(xi).

Eigenschappen: K is symmetrisch en positief semidefinitiek (PSD) als k PSD is; diagonale elementen zijn Kii = k(xi, xi). Voor genormaliseerde kernels, zoals de Gaussiaanse (RBF) kernel, kan k(xi, xi) gelijk zijn aan 1. Kernematrixen weerspiegelen de geometry van de data in de gekozen featureruimte en vormen de basis voor vele kernelmethoden.

Veel gebruikte kernels: lineaire kernel k(x, x') = x^T x'; polynoomkernel k(x, x') = (x^T x' + c)^d; Gaussiaanse of RBF-kernel k(x, x') = exp(-gamma ||x - x'||^2); en andere zoals sigmoïde-kernels. De keuze van k bepaalt hoe data worden gemapt naar het featureruimte en welke relaties worden benadrukt.

Toepassingen: kernematrixen liggen aan de basis van algoritmen als support vector machines, kernelregressie, kernel principal component analysis en Gaussian process-modellen. De kerneltruc maakt berekeningen in hoge dimensionaliteiten mogelijk via alleen de kernelwaarden, zonder expliciete representatie in de featureruimte.

Berekening en schaal: het aanmaken van K kost O(n^2) tijd en geheugen; voor grote datasets worden vaak Nyström-methoden of random features gebruikt om de verwerking te versnellen en het geheugenverbruik te beperken.