mellanrepresentationer

Mellanrepresentationer är representationer av data som uppstår mellan rådata och den slutliga uppgiften i ett informationsbehandlingssystem. De fångar karakteristiska egenskaper hos datapunkter i ett mer abstrakt och ofta kompakt utrymme än rådata, vilket underlättar generalisering och återanvändning över olika uppgifter och miljöer.

I maskininlärning uppstår dessa representationer vanligtvis i modeller med flera lager, särskilt djupa neurala nätverk. De uppstår som interna vektorer i nätverkets dolda lager eller genom tekniker som autoencoders som lär en kompakt kod. De betraktas ofta som latentutrymmen där informationen är organiserad för vidare bearbetning.

Exempel inom olika domäner: Inom naturligt språk används ord- och kontextuella embeddings samt meningens representationer; inom datorseende producerar CNN-lager kraftiga funktioner (feature maps) som fångar kanter och texturer; inom ljud och talbehandling används bottleneck-funktioner eller lärda spektrogrambaserade representationer.

Funktioner: mellanrepresentationer möjliggör dimensionell reduktion, abstraktion av komplexa mönster och återanvändning av kunskap över uppgifter (transfer learning). De underlättar också träning av enklare modeller och kan förbättra generalisering när data är begränsad.

Utmaningar: tolkbarhet och förståelse av vad representationerna egentligen fångar, beroende av data och arkitektur, samt risk för att de inte generaliserar mellan olika uppgifter. Bedömning görs ofta genom hur väl de förbättrar prestanda på downstream-uppgifter eller genom mått på sammanhållning och disentanglement i latentutrymmet.

Mellanrepresentationer är ett centralt begrepp inom modern maskininlärning och kallas ofta latent representation eller embeddings i engelskspråkig litteratur.