Verdifunksjoner

Verdifunksjoner er matematiske funksjoner som tilordner et tall til tilstander, valg eller beslutninger i en beslutnings- eller optimeringsprosess, og som dermed beskriver hvor mye verdi, nytte eller avkastning et gitt alternativ har. De brukes til å sammenligne alternativer og til å finne optimale beslutninger under usikkerhet eller tidsforløp.

I dynamisk programmering og kontrollproblemer er det vanlig å definere en state-value function V(s) som forventet kumulativ avkastning fra tilstanden s når man følger en bestemt policy π: V^π(s) = E[ sum_{t=0}^∞ γ^t R_{t+1} | S_0=s, π ]. En nært beslektet størrelse er Q-funksjonen Q(s,a), som er forventet avkastning når handlingen a velges i tilstanden s og deretter følger policy. Den optimale verdifunksjonen oppfyller Bellman-likningen, for eksempel V(s) = max_a E[ R_{t+1} + γ V(S_{t+1}) | S_t=s, A_t=a ]. Disse konseptene ligger til grunn for algoritmer som value iteration og policy iteration.

I mikroøkonomi kan verdifunksjonen også referere til nytte- eller indirekte nyttefunksjoner som beskriver tilfredsstillelsen ved å konsumere en bestemt bunke varer, under priser og inntekt. I dynamiske økonomiske modeller representerer verdifunksjonen den maksimale forventede nytten som kan oppnås fra en gitt formue eller tilstand, ofte under budsjettbegrensninger. Egenskapene til verdifunksjoner varierer, men nyttebaserte verdifunksjoner er gjerne monotone og konvekse, og de er sentrale i studier av etterspørsel og optimal innsats over tid.