HopfieldNetzwerken

Hopfield-Netzwerke sind rekurrente, vollständig verbundene neuronale Netze, die als assoziatives Gedächtnis dienen. Sie speichern Muster als stabile Zustände der Dynamik und können verrauschte oder unvollständige Eingaben rekonstruieren. Das Modell wurde 1982 von John J. Hopfield eingeführt und hat seither wesentlichen Einfluss auf Theorien des Gedächtnisses in kognitiven Modellen und neuronalen Netzen gehabt.

Das Netzwerk besteht aus N Neuronen mit Zuständen s_i ∈ {+1, -1} (in Varianten auch kontinuierlich). Die Gewichte w_ij sind symmetrisch (w_ij = w_ji) und w_ii = 0, sodass keine Selbstverbindungen existieren. Die dynamische Entwicklung erfolgt asynchron: Bei einer Aktualisierung wird ein Neuron i gewählt und s_i neu gesetzt als s_i = sign( ∑_j w_ij s_j - θ_i ), wobei θ_i ein Schwellenwert ist (häufig θ_i = 0).

Dem Netz liegt eine Energie- oder Lyapunov-Funktion E(s) zugrunde, üblicherweise E(s) = -1/2 ∑_{i,j} w_ij s_i s_j + ∑_i θ_i s_i. Bei symmetrischen Gewichten sinkt E bei jeder Aktualisierung, sodass das System zu einem lokalen Minimum konvergiert.

Die Lernregel ist eine Hebbsche Gewichtsanpassung: w_ij = (1/N) ∑_μ x_i^μ x_j^μ (mit w_ii = 0), wobei x^μ Muster in {+1,-1}^N sind. Mit M gespeicherten Mustern beträgt die ungefähre Kapazität bei zufälligen Mustern etwa 0,14N. Bei höheren Beladungen oder stark korrelierten Mustern entstehen spurious attractors.

Hopfield-Netze dienen als assoziatives Gedächtnis, Mustererkennung und Musterrekonstruktion. Varianten umfassen kontinuierliche Hopfield-Netze, bei denen Neuronenwerte x_i ∈ (-1,1) per Differentialgleichung du_i/dt = -u_i + ∑_j w_ij x_j + I_i(t) geändert werden; auch dort gilt eine zugehörige Energie-Funktion, die eine absteigende Dynamik ermöglicht. Nachteile sind begrenzte Speicherkapazität, Anfälligkeit für spurious attractors und Skalierungsprobleme.