Multimodaalsed

Multimodaalsed on eesti keeles omadussõna, mida kasutatakse kirjeldamaks midagi, mis hõlmab või integreerib mitut modaalset kanalit või suhtlusviisi. Modaalid hõlmavad erinevaid teabe ja suhtluse vorme, näiteks teksti, kõnet, pilti, videot ning liikumis- või puutetundlikke andmeid.

Multimodaalsed süsteemid või lahendused kombineerivad andmeid mitmest modaalist ja võimaldavad kasutajal või süsteemil nendest teavet tõlgendada või reageerida. Sellised lähenemised on levinud tehisintellekti ja masinõppe valdkonnas ning neid käsitletakse sageli kui multimodaalse õppimise, multimodaalse kasutajaliidese või multimodaalse teabekorjamise kontekstis. Näidetena: nutitelefoni assistendid, mis mõistavad kõnet ja visuaalset teavet konteksti tõhustamiseks; autonoomsed sõidukid, mis ühendavad kaamera-, lidar- ja radarandmeid; meditsiinilised diagnostikasüsteemid, mis analüüsivad pildiandmeid koos teksti- või kliiniliste andmetega.

Eelised hõlmavad suurenenud vastupidavust müra suhtes, paremat kasutajakogemust ning täpsema teabe pakkumist keerukates ülesannetes. Peamised väljakutsed on andmete heterogeensus ja keeruline sünkroniseerimine, puuduvate või hilinenud andmete haldamine, suurenenud arvutus- ja andmepõhise ressursi vajadus ning privaatsuse ja eetika küsimused.

Multimodaalsed lähenemised on aktiivselt uuritavad ning nende eesmärk on arendada süsteeme, mis suudavad tõhusalt ja paindlikult töödelda mitmesugust teavet ning pakkuda paremat mõistmist ja interaktiivsust kasutajatega.