CPUcachehiërarchieën

CPU-cachehiërarchieën verwijzen naar de gelaagde set van snelle cachegeheugens die tussen de centrale verwerkings eenheid (CPU) en het hoofdgeheugen liggen. Het doel is om de latentie en bandbreedte van gegevensverwerking te verbeteren door veel geraadpleegde gegevens en instructies in snellere caches te plaatsen. Typisch bestaan deze hiërarchieën uit meerdere niveaus: L1, L2, L3 en soms L4. L1-caches zijn het kleinst en snelst en bevatten meestal aparte instructie- en datacaches per kern. L2 is groter en iets langzamer maar blijft meestal privé per kern. L3 is groter en kan gedeeld zijn tussen meerdere kernen; de latentie is hoger dan bij L1 en L2. Sommige systemen bieden ook een L4-cache, vaak ondieper en groter, die optioneel op diepte kan functioneren.

Insluiting (inclusivity) en exclusiviteit zijn belangrijke ontwerpkeuzes. In inclusieve caches bevindt data die in lagere niveaus ligt vaak ook in hogere niveaus; bij exclusieve of niet-inclusieve ontwerpen kan data uit lagere niveaus ontbreken in hogere niveaus, wat de totale benutting van cachekapaciteit beïnvloedt. Cachelijnen (meestal rond 64 bytes) bepalen welke data in één fetch wordt opgehaald en hoe data wordt verplaatst tussen niveaus. Coherentie tussen cores wordt meestal afgehandeld met een coherentieprotocol zoals MESI, waardoor caches consistent blijven bij gelijktijdige toegang door meerdere cores.

Missers in caches worden onderscheiden in compulsieve, capaciteit- en conflictmissen. Vervangingsbeleid (bijv. LRU-achtige methoden) en voorspellingsmechanismen zoals voorlauffetching beïnvloeden de prestaties. Een cachevriendelijke softwareontwerp en kennis van de geheugenhiërarchie kunnen latentie en doorvoer aanzienlijk verbeteren.