Bildrepräsentationen

Bildrepräsentationen bezeichnen die komprimierte oder transformierte Repräsentation von visuellen Informationen, die aus digitalen Bildern abgeleitet wird. Ziel ist es, relevante Strukturen, Muster und Semantik in einem Vektor- oder Raummodell abzubilden, um nachfolgende Aufgaben wie Klassifikation, Erkennung oder Bildsuche zu erleichtern. Repräsentationen können handgefertigt oder durch maschinelles Lernen erlernt werden.

Historisch wurden einfache, handgefertigte Merkmale verwendet, etwa Kanten-Detektoren, Farb- und Texturmerkmale. Modelle wie SIFT, HOG oder Bag-of-Visual-Words bildeten Vektorräume, die Invarianten gegenüber Rotation, Skalierung oder Lichtverhältnissen zu ermöglichen. Spätere Ansätze nutzten statistische Repräsentationen wie Fisher Vectors oder VLAD.

Mit dem Aufkommen tiefer neuronaler Netze verschob sich der Fokus auf abgeleitete, hierarchische Bildrepräsentationen. Convolutional Neural Networks liefern zunehmend abstrakte Merkmale in mehreren Ebenen, die oft durch Transferlernen auf neue Aufgaben übertragen werden. Es gibt überwachte, selbstüberwachte (Self-Supervised) und generative Ansätze zur Repräsentationsbildung. Zur Bewertung dienen Tests auf Linearität, Repräsentationsähnlichkeit oder spezifische Probing-Aufgaben.

Anwendungen reichen von Objekterkennung, Segmentierung, Bildabfrage und Bildbeschreibung bis hin zu visuellen Frage-Antwort-Systemen. Herausforderungen umfassen Domänenverschiebung, Robustheit gegenüber Verfälschungen, Interpretierbarkeit der Merkmale, Effizienz der Repräsentationen und ethische Aspekte wie Bias und Privatsphäre.