Kernnormen

Kernnormen bezeichnet in der Regel Normen, die durch Kerne in kernel-basierten Methoden des maschinellen Lernens, der Funktionalanalysis oder verwandten Bereichen definiert werden. Am geläufigsten ist die Kernernorm im Zusammenhang mit Reproducing Kernel Hilbert Spaces (RKHS), wo jedem positiven Kernel K eine eindeutige RKHS H_K zugeordnet ist.

Definition: Gegeben ein positives Kernel K: X × X → R, existiert eine eindeutige H_K mit der Reproduktions-Eigenschaft f(x) = ⟨f, K_x⟩_{H_K} für alle f in H_K, wobei K_x(y) = K(y, x). Die Norm ||f||_{H_K} misst die Komplexität der Funktion f in diesem Raum. Hat man eine Darstellung f = ∑_{i=1}^m α_i K(·, x_i), dann gilt ||f||_{H_K}^2 = α^T K(x_1,..., x_m) α.

Anwendung: In der Lernformulierung erscheinen oft Minimierungen der Form Loss(y_i, f(x_i)) + λ||f||_{H_K}^2, wodurch die Optimierung auf die Koeffizienten α_i reduziert wird. Das Representer-Theorem garantiert, dass der optimale Funktions- bzw. Hypothesenraum in der Spannweite der Trainingsbeispiele liegt, was die Berechnung mit dem Kernel-Trick ermöglicht.

Varianten: Neben der RKHS-Norm können auch andere kernelbasierte Normen definiert werden, je nach Wahl des Kerns oder der zugrunde liegenden Funktion spaces. Die Norm beeinflusst Trägheit, Glattheit und Generalisierung des Modells: eine größere Norm begünstigt komplexere Funktionen, während eine kleinere Norm zu glatteren Lösungen führt.

Anwendungsgebiete: kernelbasierte Regularisierung in Support Vector Machines, Kernel Ridge Regression und andere Kernel-Methoden. Kernnormen dienen somit als Maß für die Komplexität einer Funktion im durch den Kernel bestimmten Funktionraum.