Initialisierungsmethoden

Initialisierungsmethoden bezeichnen Verfahren zur Bestimmung des Startzustands, von dem ein Algorithmus, ein Optimierer oder ein neuronales Netz beginnt. Die Wahl der Startwerte beeinflusst Konvergenzgeschwindigkeit, Stabilität und das Risiko, in suboptimalen Bereichen zu landen. In der Praxis spielen sie eine zentrale Rolle in der numerischen Linearsystemlösung, bei Optimierungsprozessen, im maschinellen Lernen sowie bei stochastischen Verfahren.

Im maschinellen Lernen dienen Initialisierungen der Gewichte der Stabilität des Lernprozesses. Typische Ansätze umfassen zufällige Initialisierung mit Normal- oder Gleichverteilung, sowie data-aware Varianten wie die Xavier- bzw. Glorot-Initialisierung (Varianz 2/(n_in + n_out)) und die He-Initialisierung (Varianz 2/n_in) für ReLU-Aktivierungen. Die LeCun-Initialisierung (Varianz 1/n_in) ist eine weitere Empfehlung für sigmoide oder tanh-ähnliche Aktivierungen. Orthogonale Initialisierung wird ebenfalls verwendet, um bestimmte stabilitätsrelevante Eigenschaften der Layer zu bewahren. Bias-Gewichte werden oft auf Null gesetzt, gelegentlich mit kleinen positiven Werten, um Symmetrie zu vermeiden.

Für numerische Solver sind Startwerte entscheidend für Schnelligkeit und Robustheit; oft werden gute Startpunkte aus Vorwerten, heuristischen Regeln oder vorherigen Lösungszügen abgeleitet. In Optimierungsprozessen kann eine mehrstufige Initialisierung oder Random Restarts helfen, lokale Minima zu vermeiden.

Historisch lässt sich der Fokus auf Xavier/Glorot (2010) und He et al. (2015) zurückführen; orthogonale Initialisierung wurde in Folgeforschungen weiter verfeinert. Die Wahl der Initialisierung bleibt kontextabhängig, häufig wird eine einfache, verbreitete Methode gewählt, gefolgt von Training und Anpassung.