többmódusú

Többmódusú, vagy multimodális, kifejezést olyan rendszerekre és módszertanokra használják, amelyek több modalitásból származó információt integrálnak. Modalitások lehetnek vizuális adatok (képek, videók), szöveges tartalom, hang és beszéd, valamint ritkábban tapintási vagy egyéb szenzoros jelek. A megközelítés célja, hogy a különböző források együttese részletesebb és robosztusabb értelmezést adjon, különösen olyan feladatokban, ahol egyetlen modalitás nem elégséges.

A többmódusú feldolgozás gyakori területei közé tartoznak a képosztályozás és -értelmezés, a képpel kiegészített szövegek generálása (például képaláírás), a vizuális kérdés-válaszolás és az audio-visualis beszédfelismerés. Emellett az orvosi képalkotásban MRI és CT adatok, vagy más modalitások kombinációja is alkalmazott a jobb diagnosztika érdekében; továbbá az autonom járművek szenzorfúziója és a multimodális érzelem- vagy aktivitásfelismerés szerepel a gyakorlati felhasználások között.

A módszertanban beszélhetünk korai (early) és késői (late) fúzióról, kereszmodális figyelemmel (cross-modal attention) és ko-attention alapú megközelítésekről, illetve transformer-alapú multimodális modellekről. A fő kihívások közé tartozik az adatok összehangolása, a modalitások közötti jel- és eloszláskülönbségek kezelése, az adatkészletek mérete és anotációja, a számítási igény, valamint az interpretabilitás és etikai kérdések.