AttentionMechanismen

AttentionMechanismen, oft auch als Aufmerksamkeit bezeichnet, sind eine Klasse von Bausteinen in neuronalen Netzen, die es Modellen ermöglichen, bei der Verarbeitung einer Eingabe unterschiedliche Teile unterschiedlich stark zu berücksichtigen. Sie helfen, Abhängigkeiten in Sequenzen zu erfassen, unabhängig von deren räumlicher oder zeitlicher Distanz.

In der Praxis werden aus der Eingabe drei Vektoren erzeugt: Queries (Q), Keys (K) und Values (V). Die Ähnlichkeit zwischen Q und K bestimmt die Aufmerksamkeitsgewichte. Diese Gewichte werden mittels Softmax normiert und als Koeffizienten eingesetzt, um die Values zu einer Kontextrepräsentation zu gewichten. Das Ergebnis fließt dann in weitere Netzwerkschichten ein.

Self-Attention bezeichnet den Fall, dass jedes Element einer Sequenz auf alle anderen Elemente derselben Sequenz achtet. Cross-Attention bezieht sich auf den Fall, dass Merkmale aus einer Quelle (z. B. dem Encoder) von einer anderen Quelle (z. B. dem Decoder) genutzt werden. Multi-Head Attention führt mehrere Attention-Layer parallel aus, um unterschiedliche Arten von Abhängigkeiten zu erfassen.

Transformer-Modelle basieren weitgehend auf Attention statt rekursiver Strukturen und ermöglichen eine parallele Verarbeitung. Sie haben sich besonders in der natürlichen Sprachverarbeitung durchgesetzt und finden auch Anwendungen in der Bildverarbeitung (Vision Transformer) und der Sprach- bzw. Audiosignalanalyse. Die Standardform hat eine quadratische Komplexität in der Sequenzlänge, es existieren aber Effizienzvarianten wie lineare, Sparse- oder performative Attention-Ansätze.

Anwendungsfelder umfassen maschinelle Übersetzung, Textzusammenfassung, Frage-Antwort-Systeme, Spracherkennung und visuelle Aufgaben. Vorteile der Attention umfassen die bessere Modellierung langer Abhängigkeiten und eine potenziell bessere Interpretierbarkeit der Gewichtungen. Herausforderungen umfassen hohes Rechen- und Speicheraufwand sowie Datenbedarf und potenzielle Bias-Übermittlung.

Historisch wurden Additive Attention (Bahdanau et al., 2015) und später Soft/Multiplicative Attention (Luong et al., 2015) entwickelt, gefolgt vom Transformer-Modell (Vaswani et al., 2017), das die Attention zentralisiert. Seitdem prägt Attention die moderne Praxis in vielen Bereichen des maschinellen Lernens.