Opmærksomhedsbaserede

Opmærksomhedsbaserede metoder er en gruppe modeller og teknikker i kunstig intelligens, der anvender opmærksomhedsmekanismer til at tildele forskellige vægte til dele af input. Gennem disse vægte kan modellen indikere, hvilke dele af dataene der er mest relevante for en given opgave, og dermed guide informationsbehandlingen.

Teknisk set beregnes opmærksomhed ved at bruge forespørgsel (query), nøgle (key) og værdier (value) funktioner, hvor scores mellem forespørgsler og nøgler omdannes til sandsynligheder via softmax. Flere hoveder gør det muligt at fokusere på forskellige relationer samtidigt. Self-attention sammenligner elementer inden for et input, mens cross-attention også kan inddrage eksterne kilder.

En central arkitektur, der benytter opmærksomhedsbaserede mekanismer, er Transformeren, introduceret af Vaswani et al. i 2017, som anvender multi-head self-attention og positionel kodning. Transformer-baserede modeller dominerer inden for natur sprogbehandling (maskinoversættelse, sprogmodeller, spørgsmål-svar), og lignende ideer er blevet anvendt i computer vision (Vision Transformer) og multimodale systemer.

Fordele og udfordringer: opmærksomhedsbaserede modeller kan fange langdistance-relationer og tillade parallel behandling. Udfordringer inkluderer høj beregningsomkostning, behov for store datasæt og risiko for overfitting ved små datamængder. Fortolkning gennem opmærksomhedsmaske giver ikke nødvendigvis en fuld forklaring på beslutningen.