Cachebelastningen

Cachebelastningen er et begrep som beskriver hvor stor press en datamaskins hurtigminne (cache) utsettes for i løpet av en arbeidsbelastning. Målet med cachen er å redusere ventetiden ved å lagre ofte brukte data nær prosessoren. Belastningen avhenger av arbeidssettets størrelse, tilgangsmønster og antall samtidige tråder som konkurrerer om cacheplass.

I et typisk datamaskins minnehierarki består cachelagrene av L1, L2 og ofte L3. Belastningen måles i hvor stor andel av forespørslene som treffer cachen i stedet for å måtte hente data fra raskere, men større minne eller fra hovedminnet. Høy cachebelastning innebærer ofte lav cachetreffsikkerhet (hit rate) og flere cache-misser som fører til ventetid og lavere gjennomstrømning.

Måleparametere inkluderer cachehit-rate, cachemiss-rate og relaterte mål som miss per tusen instrukser (MPKI) og cachebåndbredde. Disse tallene gir et bilde av hvor effektiv cachen er under en gitt arbeidslast, og er ofte basert på maskinvares tall fra ytelsesprofileringsverktøy.

Årsaker til høy cachebelastning inkluderer et stort arbeidssett som overskrider cachekapasiteten, irregulære eller dårlige lokalitetsmønstre i tilgangene, og konflikter mellom kjerner i flerkjernes prosessorer som fører til unødig utbytning og ferdsel mellom cachenivåer (blant annet false sharing).

Optimaliseringstiltak inkluderer omstrukturering av algoritmer for bedre datas lokalitet, blokkering/tile-teknikker for å holde arbeidssettet innenfor cachekapasiteten, riktig datalayout, forhåndslagring (prefetching) og bevisst å unngå false sharing ved å plassere data som deles mellom tråder i separate cachelinjer. I praksis er cachebelastningen en sentral del av ytelsesvurdering og -optimalisering.