Cachehierarkiet

Cachehierarkiet beskriver et sett av lag med hurtigminne som ligger mellom prosessoren og hovedminnet, med mål om å redusere ventetid for data som prosessoren trenger ofte. Ved å holde aktuelt arbeidssett nær prosessoren kan systemet utnytte temporær og romlig lokalitet og dermed øke ytelsen og redusere energiforbruket.

Vanligvis består hierarkiet av L1-, L2-, L3- og i noen systemer L4-cache. L1-cache er normalt liten og raskest, og ligger nær prosessoren. Den deles ofte mellom instruksjons- og datacache. L2 er større og litt tregere, mens L3 er enda større og ofte delt mellom kjerner i en prosessorblokk eller helt felles. Noen arkitekturer har L4-cache som kan være på-die eller utenfor, og som fungerer som en mellomliggende buffer.

Cacheorganisering innebærer hvordan data lagres og kartlegges. Data kan være lagret i sett i en direkte kartlagt, sett-assosiativ eller fullassosiativ cache. Set-assosiativ gir en balanse mellom plass og hastighet. Ulike skrivemekanismer brukes: write-back vs write-through, samt write-allocate vs no-write-allocate. Cache-missene deles gjerne inn i compulsory (cold), capacity og conflict-miss. Prefetching brukes ofte for å hente data før det trengs for å skjule latency.

I flerkjerneprosessorer kreves cachekoherens for å sikre at alle prosessorer ser konsistente data. Koherensprotokoller som MESI, MOESI eller MESIF håndhever dette. Caches kan være inclusive, hvor innhold også finnes i lavere nivåer, eller exclusive, hvor data kun er i et bestemt nivå. Effekten av cachehierarkiet vises som lavere miss-rate og lavere latens, men designvalg påvirker strømforbruk og kompleksitet. I moderne systemer brukes ofte prefetching og andre teknikker for å optimalisere ytelsen.