Bildrepresentationer

Bildrepresentationer är sätt att beskriva eller koda bildinnehåll så att datorer kan bearbeta det. De utgör ett mellanled mellan råa pixlar och uppgifter som igenkänning och förståelse. Målet är att skapa en kompakt och informativ representation som behåller väsentlig information och minskar redundans.

Traditionella representationer inkluderar råa pixlar, färghistogram och texturbaserade beskrivningar. Lokala funktioner som SIFT, SURF eller ORB fångar intressanta punkter och deras omgivning. Globala beskrivningar som färghistogram, Histogram of Oriented Gradients (HOG) och texturbaserade operatorer såsom LBP används för att beskriva hela bilder eller scener.

Moderna representationer hämtas ofta ur maskininlärning. Djupa neurala nätverk ger funktioner eller embeddings som fångar semantiska egenskaper. Så kallade inlärda representationer används i bildklassificering, bildsökning, objektdetektion och segmentering. Inlärningen kan vara end-to-end eller delas upp i lågnivå- och högnivålager, och inkluderar autoencoders, variational autoencoders samt självövervakad inlärning. Transformerbaserade modeller och kontrastbaserade metoder har också visat starka resultat.

Användningar omfattar innehållsbaserad bildsökning, bildklassificering, objektdetektion och segmentering, samt högre nivåer som augmented reality och videoanalys. Utmaningar inkluderar robusthet mot variationer i skala, orientering och belysning, hantering av brus och olika miljöer, tolkbarhet och dataeffektivitet samt krav på beräkningskraft och minnesanvändning.