crossmodaliteit

Crossmodaliteit, of crossmodal perception, verwijst naar het vermogen van de mens om informatie die via verschillende zintuigen binnenkomt te integreren tot een samenhangende perceptie van de wereld. Het omvat interacties tussen visuele, auditieve, tactiele, olfactorische en gustatieve modaliteiten, en kan automatisch en onbewust plaatsvinden, maar ook worden beïnvloed door leerervaringen, context en verwachtingen. Voorbeelden zijn illusies en correspondenties tussen modaliteiten, zoals het McGurk-effect waarbij een visuele uitspraak de auditieve perceptie verandert; visuele en auditieve cue-integratie bij het lokaliseren van geluidsbronnen; en de ventriloquist-illusie waarbij geluiden als afkomstig van een visueel nabij object worden ervaren.

Onderliggende mechanismen omvatten multisensorische integratie via tijdelijke synchronie en ruimtelijke congruentie, waarbij de hersenen informatie uit verschillende modaliteiten combineren. Belangrijke hersengebieden zijn het sulcus temporalis superior (STS) en de bijbehorende netwerken, vaak ondersteund door de gyrus temporalis superior en het colliculus superior. Modellen betreffen cue-summation en causal inference, waarbij de hersenen bepalen of signalen afkomstig zijn van dezelfde gebeurtenis. Plasticiteit en leren spelen een rol: crossmodaliteit kan verbeteren met training en wordt beïnvloed door leeftijd en zintuiglijke stoornissen.

Toepassingen en implicaties: ontwerp van menselijke-machine-interfaces, educatieve en communicatieve hulpmiddelen, en veiligheidstoepassingen zoals multisensorische waarschuwingssignalen. In de klinische psychologie en geneeskunde is onderzoek naar multisensorische integratie relevant voor autismespectrumstoornissen, gehoor- en visusbeperkingen en revalidatie. In kunstmatige systemen en virtuele realiteit wordt crossmodaliteit benut om rijkere, geloofwaardige omgevingen te creëren.