Repräsentationslernen

Repräsentationslernen ist ein Teilgebiet des maschinellen Lernens, das darauf abzielt, aus Rohdaten sinnvolle, komprimierte Repräsentationen zu gewinnen, die die Lösung nachfolgender Aufgaben erleichtern. Ziel ist es, die relevanten Merkmale oder Faktoren der Variation abzubilden und Rauschen zu reduzieren, ohne spezifizierte Labels vorauszusetzen. Dadurch wird die Leistungsfähigkeit von Algorithmen in Aufgaben wie Klassifikation, Regression oder Clustering oft verbessert und die Übertragbarkeit auf neue Domänen erhöht.

Man unterscheidet unterschiedliche Lernparadigmen. Beim überwachten Repräsentationslernen werden die Repräsentationen so gelernt, dass sie die Zielaufgabe gut unterstützen. Beim unbeaufsichtigten oder selbstüberwachten Repräsentationslernen entstehen Repräsentationen ohne oder mit Hilfsaufgaben, die selbst generiert werden, z. B. Vorhersage von Kontext, Pixeln oder Transformationen. Typische Modelle sind Autoencoder, Variational Autoencoder, sowie kontrastives Lernen oder andere selbstüberwachte Lernmethoden, die invarianten Merkmale extrahieren. Weitere Techniken umfassen PCA, Sparse Coding oder Manifold Learning, die oft als Vorläufer moderner neuronaler Ansätze gelten.

Anwendungen finden sich in Computer Vision, Natural Language Processing, Spracherkennung, Empfehlungssystemen und Graphdaten. Die Qualität von Repräsentationen wird sowohl intrinsisch (z. B. Entkoppelung von unabhängigen Faktoren oder Reduktion von Dimensionalität) als auch extrinsisch (Kriterium der Performance bei Downstream-Aufgaben) bewertet.

Herausforderungen umfassen Interpretierbarkeit, Robustheit, Bias in Datensätzen, die Balance zwischen Kompression und Informationsverlust sowie die Übertragbarkeit von Modellen auf neue Domänen.