oppmerksomhetsnettverk
Oppmerksomhetsnettverk, ofte referert til som attention mechanisms, er en type kunstig nevralt nettverk som er designet for å etterligne den menneskelige evnen til å fokusere på bestemte deler av inputdata. I tradisjonelle nevrale nettverk behandles all input likt, noe som kan være ineffektivt for komplekse oppgaver. Oppmerksomhetsmekanismer gjør at nettverket kan dynamisk tildele ulik vekt til forskjellige deler av inputdataene, basert på deres relevans for den aktuelle oppgaven.
Dette oppnås vanligvis ved å beregne en "oppmerksomhetsscore" for hver del av inputen. Disse scorene indikerer