Kernfunktion

Eine Kernfunktion (Kernel) ist in der Mathematik und Statistik eine Funktion k: X × X → R, die das innere Produkt in einem impliziten Merkmalsraum widerspiegelt: k(x, y) = ⟨Φ(x), Φ(y)⟩ für eine Abbildung Φ: X → H. Kernfunktionen sind typischerweise symmetrisch: k(x, y) = k(y, x), und sie sind bedingt positiv semidefiniert, d. h. für jede endliche Menge x1, ..., xn ist die Matrix K mit Kij = k(xi, xj) positiv semidefinit.

Durch diese Eigenschaft lässt sich der Lernprozess oft über das innere Produkt der Merkmalsräume gestalten, ohne Φ explizit zu berechnen – das Kernel-Trick genannt.

Häufige Kernel sind linear k(x, y) = x^T y; polynomialer Kernel k(x, y) = (x^T y + c)^d; Gaußscher (RBF) Kernel k(x, y) = exp(-||x - y||^2 / (2σ^2)); Laplace-Kernel k(x, y) = exp(-||x - y||_1 / σ). In der Kernel-Dichte-Schätzung (KDE) werden ähnliche Kernel-Funktionen zur Glättung der Verteilung verwendet, z. B. Gaussian oder Epanechnikov.

Anwendungen: Kernel-Methoden umfassen Support-Vector-Machines (SVM), Kernel-PCA, Kernel-Ridge-Regression und Gaußsche Prozesse. Kernfunktionen liefern eine flexible Art, nichtlineare Muster zu modellieren, indem sie den Lernalgorithmus auf einen hochdimensionalen Merkmalsraum abbilden, ohne Φ explizit zu berechnen (Kernel-Trick).

Theoretisch ist die Mercer-Theorie relevant: Für eine stetige, symmetrische Kernfunktion, die positiv semidefiniert ist, existiert ein Reproduzierbarer Hilbertraum, in dem k(x, y) = ⟨Φ(x), Φ(y)⟩ gilt. Voraussetzungen garantieren PSD der Gram-Matrix über diskreten Stichproben.