Cachevänlighet

Cachevänlighet är egenskapen hos programvara och system att utnyttja processorers cacheminne effektivt, vilket minskar minneslatens och ökar körningens prestanda. Modern CPU har flera nivåer av cache (L1, L2 och ofta L3) som håller delar av arbetsminnet nära kärnan. Genom att återanvända data som finns i cachen och organisera minnesåtkomst på ett fördelaktigt sätt kan programmet få betydligt bättre hastighet än när data hämtas främst från huvudminnet.

Nyckelaspekter är temporal locality och spatial locality. Temporal locality innebär att nyligen använd data sannolikt används igen inom kort; spatial locality innebär att data i närliggande adresser ofta används tillsammans. Cachemissar uppstår när data inte finns i någon nivå av cache och måste hämtas från längre minne. Missar kan bero på första genomslaget (compulsory miss), cachekapacitetsmiss eller konfliktmiss när flera logiska enheter konkurrerar om samma cachelinje, och deras påverkan är preprocessingberoende.

För att göra kod cachevänlig bör man organisera åtkomsten så att den är sekventiell och arbetar med tätt sammanhängande minnesblock. Undvik slumpmässiga referenser till stora datamängder och överväg val av datastrukturer med tanke på åtkomstmönster (t.ex. array-of-structures kontra structure-of-arrays). Tillämpliga tekniker inkluderar loop-tiling/blocked programming för att hålla arbetsmängden inom L1/L2, dataalignering mot cachelines samt förhandsladdning (prefetch) där det är meningsfullt. Använd optimeringar i kompilatorn och profilbaserad tuning för att avgöra verkliga vinster.

Observera att cachevänlighet är arkitekturspecifik; verkliga hastighetsökningar kräver noggrann profiling med relevanta verktyg. I webbmiljö refererar begreppet ofta till hur resurser cacheas av webbläsare och mellanhandsnätverk, med rätt Cache-Control- och ETag-huvuden.