Selbstüberwachte

Selbstüberwachte Lernmethoden, auch als selbstüberwachtes Lernen bezeichnet, beziehen sich auf Ansätze im maschinellen Lernen, die aus großen Mengen unbeschrifteter Daten Repräsentationen erlernen, ohne dass menschliche Labels benötigt werden. Das Grundprinzip besteht darin, aus den Daten selbst eine Lernaufgabe abzuleiten (Pretextaufgabe) und diese Aufgabe als Lernsignal zu verwenden. So werden Ressourcen aus unlabeled Daten genutzt, um Merkmale zu extrahieren, die später für verschiedene Downstream-Aufgaben eingesetzt werden können.

Typische Pretextaufgaben umfassen das Vorhersagen fehlender oder transformierter Teile der Eingabe, das Rekonstruieren gelernter Hilfsinformationen oder das Lösen von Aufgaben wie das Bestimmen der Ordnung von Teilen in Bildern oder Sequenzen. In der Bildverarbeitung nutzt man oft Kontrastives Lernen, bei dem verschiedene Ansichten derselben Instanz als positive Paare definiert werden, während andere Instanzen als negative Paare dienen. In der natürlichen Sprache sind Masked-Language-Modelle ein bekanntes Beispiel, bei dem Wörter in Sätzen vorhergesagt werden.

Die erlernte Repräsentation wird anschließend oft durch Feintuning mit relativ wenig gelabelten Daten für spezifische Aufgaben wie Klassifikation, Übersetzung oder Frage-Antwort-Systeme verwendet. Selbstüberwachtes Lernen überbrückt damit den Gap zwischen reinem Un- oder Überwacht-Lernen und ermöglicht die Nutzung großer unlabeled Datensammlungen.

Zu den bekanntesten Anwendungsfeldern gehören Computer Vision, natürliche Sprachverarbeitung und Audioverarbeitung. Vorteile sind der geringere Bedarf an Labels, robustere Repräsentationen und bessere Generalisierung; Herausforderungen umfassen die Wahl geeigneter Pretextaufgaben und Evaluationsmethoden sowie das Risiko, dass Modelle spurious Merkmale lernen.