Cacheeffektivitet

Cacheeffektivitet beskriver, hvor effektivt et computersystem udnytter cachehukommelsen til at reducere den gennemsnitlige adgangstid til data. I et typisk hukommelses-hierarki giver cacheniveauer som L1, L2 og eventuelt L3 hurtigt adgang til ofte anvendte data, mens hovedhukommelsen er langsommere. En høj cacheeffektivitet fører til lavere latency, højere gennemløb og ofte lavere energiforbrug.

Vigtige mål for cacheeffektivitet er cachehit rate og cachemiss rate samt den gennemsnitlige hukommelsesadgangstid (AMAT). AMAT kan beskrives som t_hit plus miss rate gange t_miss, hvor t_hit er tiden for et cache-søg, og t_miss den ekstra tid for at hente data fra næste niveau i hierarkiet. Høje hitrater og lave miss-penaltyer giver lav AMAT.

Flere faktorer påvirker effektiviteten. Hardwaremæssigt spiller cachestørrelse, antal måder (associativitet), linjebredde og udskiftningspolitik samt prefetch-mekanismer en rolle. Softwaremæssigt er mønstre i dataadgang afgørende: temporær og rumlig lokalitet, kontinuitet i data og korrekt data-layout. Reduktion af aliasing og brug af loop tiling eller blokbaseret behandling kan også forbedre cacheadgangen.

Praktiske tiltag inkluderer valg af cache-bevidste datastrukturer og algoritmer, dataalignment og tilrettelæggelse af adgang i sekvenser. Udviklere kan bruge profiler og hardware-performance counters til at identificere cacheflaskehalse og guide optimeringer.

Måling og evaluering sker gennem profiler og målere som performance counters, og ved hjælp af cachesimulationer til forudberegning af effekten af ændringer, før implementering.