Attentiongebaseerde

Attentiongebaseerde systemen verwijzen naar modellen in kunstmatige intelligentie die aandachtmechanismen inzetten om relevante delen van een invoer te identificeren en meer gewicht te geven bij de verwerking of generatie van uitgangen. Dit maakt het mogelijk om dynamisch te focussen op belangrijke informatie binnen lange sequenties.

Werking: Een veelgebruikte structuur is de query–key–value aanpak. Voor elk stap wordt een query vergeleken met een set keys om aandacht scores te berekenen; vervolgens worden de bijbehorende values gewogen en opgeteld. Populaire varianten zijn dot-product attention en additive attention, en multi-head attention combineert meerdere aandachtsspecialismen parallel om verschillende aspecten van de invoer tegelijkertijd te verwerken.

Ontstaan en impact: Attention werd bekend door werk zoals toevoeging aan encoder-decoder-modellen voor neurale machinevertaling ( Bahdanau, Cho en Bengio, 2014). De Transformer-architectuur (Vaswani et al., 2017) maakte aandacht centraal en verving veel recursieve processen, wat geleid heeft tot efficiëntere training en betere prestaties in veel taken.

Toepassingen: Attentiongebaseerde modellen worden breed toegepast in natuurlijke taalverwerking (vertaling, samenvatting, vraag-antwoord systemen), maar ook in beeldverwerking, spraak en multimodale taken. Ze vormen de kern van veel grote taalmodellen zoals BERT, GPT en T5.

Voordelen en beperkingen: Voordelen zijn betere modellering van langeafhankelijke relaties, betere interpretatie en sterke parallelisatie. Nadelen omvatten hoge reken- en geheugenbehoeften bij lange invoeren, en de noodzaak van ruime trainingsdata en zorgvuldige regularisatie.