Cachebelastning

Cachebelastning er belastningen et cacheminne utsettes for fra dataforespørsler. Begrepet brukes om både maskinvarecaches (som CPU- og GPU-cacher) og programvare- eller nettverkscaches. Belastningen beskriver hvor mye av cachekapasiteten som blir brukt, hvor ofte data må hentes fra lavere nivåer i minnehierarkiet eller eksterne kilder, og hvordan dette påvirker ventetid og gjennomstrømming.

Nøkkelfaktorer er arbeidssettets størrelse og tilgangsmønster, datas lokalitet (temporær og romlig), cachestørrelse og konfigurasjon (antall sett, assosiasjon, eviktionspolicy) samt forhåndshenting. Viktige målparametere inkluderer cachetreffrate (hit rate), cachemissrate, og gjennomsnittlig latens per tilgang. Konfliktmiss og kapasitetmiss er sentrale begreper ved thrashing når arbeidssettet overskrider cachekapasiteten.

I maskinvarecaches er belastningen påvirket av dataorganisering og tilgangen til strømmønstre i kjørende kode. I programvaremiljøer påvirkes cachebelastningen av datastrukturer, algoritmene som brukes, og loopordninger som utnytter lokalitet. I nett- og appcaches påvirker TTL, valideringsregler og caching-strategier (for eksempel LRU eller LFU) hvor stor andel av trafikken som blir levert som cachetreff.

Forvaltning av cachebelastning innebærer å forbedre datas lokalitet og blokkering, velge egnet datastruktur, bruke effektiv minnelayout og prefetching. Overvåking og analyse verktøy som hardware-counter-målinger, Cachegrind eller profilanalyser hjelper med å identifisere flaskehalser og veien til lavere missrater og bedre ytelse.