TransformerArchitektur

Die Transformer-Architektur, häufig einfach Transformer genannt, ist ein neuronales Netzwerkmodell, das 2017 von Vaswani und Kolleginnen im Aufsatz Attention Is All You Need vorgestellt wurde. Im Gegensatz zu rekurrenten Netzen basiert sie auf dem Self-Attention-Mechanismus und ermöglicht effizientes paralleles Rechnen über Sequenzen.

Das Grunddesign besteht aus einem Encoder-Block und einem Decoder-Block. In jeder Ebene steckt eine Multi-Head-Self-Attention-Schicht, gefolgt von einer positionwise Feed-Forward-Schicht. Beide Subschichten verwenden Residual-Verbindungen und Layer Normalization. Ein wichtiges Element sind Positionsinformationen, da der Transformer keine Reihenfolge intrinsisch erfasst. Diese kommen durch addierte Positional Embeddings oder learned position encodings.

Anwendungstypen: Encoder-Only Modelle (z. B. BERT) für Repräsentationen, Decoder-Only Modelle (z. B. GPT) für Generierung, oder Encoder-Decoder-Modelle (z. B. T5) für Sequenz-zu-Sequenz-Aufgaben. Die Trainingsziele variieren: Masked Language Modeling, autoregressives Sprachmodellieren oder Sequenz-zu-Sequenz-Übersetzungsaufgaben. Typischerweise nutzt man Cross-Entropy-Loss.

Herausforderungen und Weiterentwicklungen: Hoher Rechen- und Speicherbedarf, Datenabhängigkeit; Ansätze zur Effizienzsteigerung umfassen Sparse Attention, Linformer, Performer, Longformer. Anwendungen: Sprachübersetzung, Frage-Antwort-Systeme, Textgenerierung, Sprachmodelle in vielen Domänen, Computer Vision (Vision Transformers) und Code-Verarbeitung. Bedeutende Modelle: BERT (Encoder), GPT (Decoder), T5 (Text-to-Text), Transformer-XL (Lange Abhängigkeiten).

Fazit: Die Transformer-Architektur hat die natürliche Sprache revolutioniert und als Standardbaustein für viele KI-Anwendungen etabliert. Sie bleibt Gegenstand intensiver Forschung in Richtung Effizienz, Interpretierbarkeit und längerer Sequenzen.