aandachtgebaseerde

Aandachtgebaseerde systemen verwijzen in kunstmatige intelligentie naar mechanismen die bij het verwerken van input selectief focussen op relevante delen van de invoer bij het genereren van output. Het idee is vergelijkbaar met menselijk aandachtvermogen: niet elke input wordt gelijk behandeld, maar de modelrespons wordt beïnvloed door welke delen als belangrijkste worden beschouwd.

Een belangrijkste bouwsteen is de aandachtmechanisme, waarbij elke invoervector wordt vergeleken met een huidige query om een score te berekenen. Met behulp van deze scores worden de invoervectoren gewogen en samengevoegd tot een contextvector die de volgende stap in het model informeert. Veelvoorkomende varianten zijn additive attention (Bahdanau) en multiplicative of dot-product attention (Luong), waarbij de laatste vaak wordt opgeschaald in de zogenaamde scaled dot-product attention.

Transformer-architecturen hebben aandachtgebaseerde mechanismen tot kerncomponent gemaakt. Self-attention berekent aandacht tussen alle posities binnen dezelfde invoer, waardoor langeafstandsrelaties beter kunnen worden gemodelleerd. Cross-attention koppelt vervolgens aandacht aan een encoder- en een decodercollectie om input- en outputsequenties gecoördineerd te verwerken. Meerdere aandachtkoppen (multi-head attention) stellen het model in staat verschillende relaties tegelijk te leren.

Toepassingen van aandachtgebaseerde modellen zijn divers: natuurlijke taalverwerking (vertaling, samenvatting, vraag-answering), beeldbeschrijving, spraakherkenning en multimodale taken. Voordelen zijn onder meer betere modellering van lange afhankelijkheden, parallelisatie en flexibiliteit in inputlengte. Nadelen omvatten hoge rek- en geheugenbehoefte, interpretatie-uitdagingen en biases bij training. De technologie heeft zich sinds 2017 snel ontwikkeld, met varianten zoals sparse of efficiënte aandacht die schaalbaarheid bevorderen.