L2Normalisierung

Die L2-Normalisierung, auch als Normalisierung nach der L2-Norm bezeichnet, ist ein Verfahren zur Skalierung von Vektoren oder Merkmalsvektoren, sodass deren L2-Norm gleich eins ist. Die L2-Norm eines Vektors x ∈ R^n ist ||x||_2 = sqrt(x1^2 + x2^2 + ... + xn^2). Ein normalisierter Vektor lautet x̂ = x / ||x||_2. Falls ||x||_2 gleich null ist, ist die Normalisierung nicht definiert; in der Praxis wird häufig ein kleines epsilon verwendet: x̂ = x / max(||x||_2, ε).

Anwendungsgebiete umfassen die Vorverarbeitung von Merkmalen, damit Größenunterschiede die Merkmalsverteilung nicht dominieren, sowie die Betonung von Richtungen statt von Beträgen. Dadurch lassen sich Kosinusähnlichkeiten besser interpretieren, und Modelle wie Clustering oder Klassifikatoren profitieren von einheitlich skalierten Eingaben. In neuronalen Netzen wird gelegentlich eine L2-Normalisierung von Aktivierungen oder Eingaben eingesetzt, um Stabilität zu erhöhen und Winkelbeziehungen zwischen Vektoroperationen zu betonen.

Der Begriff L2-Normalisierung unterscheidet sich von L2-Regularisierung (Gewichtsregularisierung). Letztere fügt der Verlustfunktion eine Strafe für große Gewichte hinzu, während die L2-Normalisierung lediglich die Länge von Vektoren ändert, ohne das Modell zu strukturieren. Es ist damit ein Vorverarbeitungsschritt oder eine architektonische Komponente, nicht jedoch eine Regularisierung.

Beispiele in Software: In vielen Bibliotheken kann L2-Normalisierung als normalisierende Funktion oder Layer implementiert werden, die Eingabe- oder Aktivierungsvektoren durch Division durch ihre L2-Norm transformiert. In der Praxis wird sie häufig in SVM, Textmining (TF-IDF Merkmale) und Bildverarbeitung eingesetzt, wenn ähnliche Merkmalsrichtungen bei unterschiedlichen Skalen wichtig sind.