Selbstaufmerksamkeitsmechanismus

Selbstaufmerksamkeit, im Englischen self-attention, ist ein Begriff, der in unterschiedlichen Disziplinen verwendet wird. In der Psychologie beschreibt er die Tendenz, eigene innere Zustände wahrzunehmen, während in der Informatik eine Mechanik in neuronalen Netzwerken gemeint ist, die Beziehungen innerhalb einer Eingabesequenz gewichtet.

Historisch wird der Begriff im Zusammenhang mit Selbstbewusstsein diskutiert. Die Forschung unterscheidet oft zwischen privater Selbstaufmerksamkeit (Aufmerksamkeit auf innere Gedanken, Gefühle und Bedürfnisse) und öffentlicher Selbstaufmerksamkeit (Aufmerksamkeit auf das eigene Auftreten im Blick anderer). Auslöser reichen von Spiegeln, Publikum bis zu moralisch relevanten Reizen. Die Folgen sind kontextabhängig: Sie kann Selbstregulation fördern, indem Verhalten zielgerichtet ausgerichtet wird, aber auch zu Überfokussierung, Rumination und erhöhter Stresssymptomatik führen.

Anwendungsfelder umfassen klinische Psychologie, Pädagogik und Verhaltensforschung. In der Praxis zielen Interventionen oft darauf ab, übermäßige Selbstaufmerksamkeit zu reduzieren oder adaptiv zu steuern, etwa durch achtsamkeitsbasierte Techniken. In der Forschung dient Selbstaufmerksamkeit als Variable zur Erklärung von Entscheidungen, Emotionsregulation und sozialer Interaktion. Kritisch diskutiert werden Messung, kulturelle Unterschiede und die Trennschärfe zwischen privaten und öffentlichen Formen.

In der Informatik bezeichnet Selbstaufmerksamkeit eine Kernkomponente von Transformern. Sie ermöglicht es dem Modell, jedem Element einer Sequenz während der Verarbeitung Gewichtungen zuzuweisen und so Abhängigkeiten unabhängig von der Distanz zu berücksichtigen. Typischerweise werden dafür Queries, Keys und Values berechnet, gefolgt von Multi-Head-Attention, Additionen, Normalisierung und Feed-Forward-Netzen. Selbstaufmerksamkeit hat die Leistungsfähigkeit von Sprach- und Sequenzmodellen signifikant erhöht und ist in vielen Anwendungen Standard.