yhteisembedingmenetelmät

Yhteisembedingmenetelmät ovat koneoppimisen tekniikoita, joilla pyritään oppimaan yhteinen latentti tila useille datamodeleille, kuten kuville ja tekstille. Tämän tilan tavoite on, että semantisesti vastaavat ilmiöt muodostavat läheisiä esityksiä riippumatta siitä, millä modaliteetilla ne esiintyvät.

Yhteinen tila mahdollistaa tehtäviä kuten cross-modal retrieval ja monimuotoisen tiedon yhdistäminen. Mallit voivat siirtää tietoa yhdestä modaliteetista toiseen ja yhdistää eri lähteistä peräisin olevaa informaatiota.

Lähestymistavat: (1) syvä Canonical Correlation Analysis (deep CCA) ja sen variantit, (2) monimodaalinen oppiminen ja manifold-alignment, (3) autoencoder-pohjaiset mallit sekä variational autoencoders, (4) kontrastivinen oppiminen sekä triplet- tai n-painoiset menetelmät, (5) CLIP-tyyppiset mallit, joissa kuvat ja teksti opetetaan rinnakkain kontrastilossin avulla.

Sovellukset: kuvatekstien laatiminen ja haku, cross-modal haku (esimerkiksi kuvan perusteella haetaan tekstiä ja päinvastoin), multimodaaliset suositusjärjestelmät sekä lääketieteellisten multimodaalisten datojen analysointi ja puhe-tekstin integraatio.

Haasteet: datamodaalien erilaisten ominaisuuksien ja mittasuhteiden yhteensovittaminen, suurten datasetien vaatimukset, datan yksityisyyden ja eettiset näkökulmat sekä tulkittavuus ja siirrettävyys uusille domain-ympäristöille.

Esimerkkejä algoritmeista: deep CCA, cross-modal autoencoders, variational multimodaalinen malli, CLIP. Arviointi tapahtuu esimerkiksi rank- ja retrieval-mittareiden sekä tilan alignoinnin mittauksilla.