Kernelfunktionen

KernelFunktionen, auch Kernelfunktionen genannt, sind Funktionen k: X × X → R, die in vielen Lernverfahren die Ähnlichkeit zweier Eingaben x und y messen. In vielen Modellen gilt k(x,y) = ⟨φ(x), φ(y)⟩, wobei φ ein Merkmalsabildung in einen möglicherweise hohen oder unendlichen Raum ist. Dadurch lässt sich mit dem Kernel-Trick arbeiten: Man berechnet das innere Produkt im Merkmalsraum direkt über k, ohne φ explizit zu berechnen.

Zu den typischen Eigenschaften gehören Symmetrie k(x,y) = k(y,x) und positive Semidefinitheit. Die Gram-Matrix K mit Kij = k(xi, xj) ist dann positiv semidefinit. Diese Eigenschaft sichert unter anderem die Optimierungsstabilität in vielen Kernel-Methoden und wird durch Mercer's Theorem formell behandelt.

Gängige Kernelfunktionen umfassen den linearen Kernel k(x,y) = xᵀy, den polynomiellen Kernel (xᵀy + c)ᵈ, den Gauß- oder RBF-Kernel k(x,y) = exp(-||x−y||²/(2σ²)), den Laplace-Kernel exp(-||x−y||/β) sowie den Sigmoid-Kernel tanh(α xᵀy + c). Einige Kernel entsprechen einer unendlichen Merkmalsraumdarstellung, was sie besonders flexibel macht.

Anwendungen finden sich vor allem in Support-Vector-Machines, Kernel Ridge Regression, Kernel Principal Component Analysis sowie in Gaussian-Prozessen, bei denen der Kernel die Kovarianzstruktur beschreibt. Die Wahl des Kernel implementiert Annahmen über Ähnlichkeit und Struktur der Daten; Parameter wie σ, Grad oder Regularisierung müssen oft durch Modellselektion bestimmt werden. Große Datensätze stellen wegen der Gram-Matrix-Rechnung eine Herausforderung dar; es kommen Approximationen wie Random Fourier Features oder Nystrom-Verfahren zum Einsatz.