Cachingbeteende

Cachingbeteende beskriver hur datakopior som lagras tillfälligt används för att minska väntetider och sänka belastning på systemet. Genom att hålla data närmare användning eller bearbetning kan svarstider kortas och resursanvändning optimeras. Caching förekommer i allt från datorhårdvara och operativsystem till programvara, nätverk och webbapplikationer.

I datorvärlden består cacheminne av små, mycket snabba lagringsenheter som ligger närmare processorn än det primära arbetsminnet. Vanliga exempel är L1-, L2- och ibland L3-cache. Cacher används även i diskar, minnesstyrenheter och i webb- och applikationsservrar. I varje fall utnyttjar cacheminne temporal- och rumslokalitet: data som nyligen använts eller ligger i närheten av data som används snart har högre sannolikhet att behövas igen.

En cachemiss uppstår när efterfrågad data inte finns i cachen. Missar kan klassificeras som kalla missar, kapacitetsmissar och konflikmissar. För att bestämma vad som ska lämnas plats för används byte-policyer som LRU (Least Recently Used), LFU (Least Frequently Used) och FIFO, samt mer avancerade metoder. Valet påverkar både hit-rate och resursutnyttjande.

Nätverks- och webb-caching lagrar kopior av resurser som webbplatser, bilder eller API-svar i proxyn eller i CDN:er för att sänka svarstider och minska serverbelastning. HTTP-cache-styrning regleras av rubriker som Cache-Control, ETag och Last-Modified. Cacheinvalidation är en viktig utmaning för att behålla konsistens när originaldata uppdateras.

Design av cachingsystem kräver överväganden av cache-storlek, sammansättning, linjestorlek och skrivpolicy. Pre-fetching och koherens mellan flera cache-nivåer är centrala frågor i system med flera processorer eller servrar. Genom att balansera dessa faktorer kan cachingbeteende ge betydande prestandaförbättringar samtidigt som korrekthet bibehålls.