Cachehiërarchie

Cachehiërarchie is de hiërarchie van snellere, kleinere cache-geheugens die dichter bij de processor liggen dan het hoofdgeheugen. Het doel is de gemiddelde geheugentoegangstijd te verlagen door veelgebruikte data snel beschikbaar te maken. De meeste systemen kennen L1-, L2- en L3-caches, soms gevolgd door een L4-cache. L1-cache is klein en extreem snel en is vaak opgesplitst in een instructie- en een datacache. L2-cache is wat groter en iets trager maar fungeert als brug naar L3. L3-cache is meestal groter en wordt gedeeld door meerdere kernen, wat de doorvoer ten goede komt. In sommige ontwerpen werkt ook een tussenlaag L4 als extra buffer.

Gegevens worden geladen per cache-lijn. Bij een cache-hit is de gevraagde data direct beschikbaar; bij een cache-miss moeten de data uit een lagere cache of uit het hoofdgeheugen worden opgehaald. Mapping-methoden bepalen hoe data aan cacheplaatsen worden toegewezen, zoals direct-mapped, set-associatieve of volledig associatieve caches. Vervangingsbeleid bepaalt welke cache-lijn wordt vervangen bij een miss; gangbare beleidsregels zijn onder meer LRU en varianten daarvan.

Bij multi-core en multi-processor-systemen is cache-coherentie noodzakelijk om een consistente kijk op gedeelde data te behouden. Hiervoor worden coherentieprotocollen toegepast, zoals MESI, vaak geïmplementeerd met snooping of directory-gebaseerde mechanismen.

De prestaties van de cachehiërarchie hangen af van capaciteit, latentie en associativiteit, naast het programma’s gedrag ten opzichte van lokale referenties. Een goed ontworpen hiërarchie vermindert cache-misses en verhoogt de efficiëntie van geheugenoperaties, maar brengt afwegingen met zich mee op het gebied van ontwerp en energieverbruik.