cacheflaskehalse

En cacheflaskehals er en tilstand der systemets ytelse begrenses av cachelagringens effektivitet heller enn av selve prosessorens beregninger. Slike flaskehalse kan oppstå i maskinvaresystemer, for eksempel i CPU-cache (L1/L2/L3) og andre nivåer av minnehierarkiet, eller i programvarebaserte caches i applikasjoner, databaser og nettlesere. En flaskehals kjennetegnes av høye cache-missrater og av økt trafikk mellom cachenivåer, noe som øker minne-til-latens og reduserer gjennomstrømningen.

Årsaker inkluderer at arbeidssettet overskrider cache-størrelsen, dårlige minneadresseringsmønstre som ikke utnytter cachelinjene, caching av flere kopier av data mellom prosesser, og feil deling av cachelinjer (false sharing) i flerkjerneprosesser. Konkurranse om minnebåndbredde mellom kjerner og mellomnivåer kan også bidra. Effektene er høyere ventetid, lavere IPC og generelt redusert ytelse i arbeidsbelastningen, særlig for datastrømintensive applikasjoner.

Måling og diagnose gjøres ved å overvåke cachemissrater på L1/L2/L3, minnekoherens og minnebåndbredde. Verktøy som perf, Valgrind/cachegrind og Intel VTune kan brukes til å måle MPKI (misses per kilo instruksjoner) og lignende metrikker. Analyse innebærer ofte å kartlegge tilgangsmønstre, identifisere varme datapunkter og vurdere endringer i effekt på ytelser ved endringer i arbeidsbelastning.

Løsninger og forebygging fokuserer på cachevennlig programmering og arkitektur: data-layout som utnytter cachelinjer (for eksempel struktur av arrays i stedet for array av strukturer), loop-tilpassing og tilordning av data i mindre blokker (tiling), riktig data-alignment og padding, og bruk av prefetching der relevant. Reduksjon av false sharing, NUMA-bevissthet og minimert cachekoherense-trafikk kan forbedre ytelsen. For programvarecacher og databaser kan innstilling av cachedimensjonering, TTL og effektive evictions også dempe flaskehalsen.