Positionskodierungen

Positionskodierungen bezeichnet man Techniken, die in Sequenzverarbeitungsmodellen die Reihenfolge der Elemente einer Eingabesequenz ausdrücken. Da Aufmerksamkeitssysteme wie der Transformer permutation-invariant arbeiten, benötigen Modelle eine Darstellung der Position, damit Reihenfolgen sinnvoll verarbeitet werden können.

Man unterscheidet grob zwischen festen (nicht lernbaren) und gelern­ten Positionskodierungen. Feste Kodierungen liefern eine deterministische Sequenz von Vektorwerten, oft in sinusoidaler Form. Gelernte Kodierungen bestehen aus einer Parametermatrix (seq_len × d_model), die während des Trainings optimiert wird. Zusätzlich gibt es relative Positionskodierungen, die Abstände zwischen Token direkt betonen, statt absolute Positionen zu verwenden.

Bei einer typischen festen sinusoidalen Kodierung verwenden sich die Dimensionen abwechselnd aus Sinus- und Kosinusfunktionen unterschiedlicher Frequenzen: PE(pos, 2i) = sin(pos / 10000^(2i/d_model)) und PE(pos, 2i+1) = cos(pos / 10000^(2i/d_model)). Die Positionskodierung wird zum Eingabe-Embedding addiert, bevor die Sequenz durch die Transformer-Schichten läuft.

Vorteile fester Kodierungen: kein zusätzlicher Lernparameter, robuste Generalisierung auf längere Sequenzen und einfache Implementierung. Nachteile: bei reinen Lernkodierungen begrenzt auf trainierte Sequenzlängen; festkodierte Kodierungen können Schwierigkeiten haben, komplexe Abhängigkeiten zu erfassen. Relationale Positionen können diese Einschränkungen adressieren.

Anwendungen finden sich primär in natürlicher Sprachverarbeitung, in Sprach- und Proteinsequenzen, sowie in Vision-Transformern mit 2D-Positional Encoding. Die Forschung untersucht alternative Kodierungen wie relative oder gemischte Ansätze, um Abstandsbeziehungen effizienter abzubilden.