värdefunktionen

Värdefunktionen, eller value function, är inom optimering och rekursiva beslutteorier en funktion som tilldelar varje tillstånd i en miljö ett mått på den förväntade avkastningen man kan uppnå vid fortsatt beteende. I ett givet policy π anger Vπ(s) den förväntade summan av framtida belöningar när man startar i tillståndet s och följer π därefter, ofta med diskonteringsfaktorn γ ∈ [0,1). Den optimala värdefunktionen V*(s) beskriver den högsta möjliga avkastningen från s över alla policyn: V*(s) = maxπ Vπ(s).

Den närbesläktade åtgärdsvärdefunktionen Qπ(s,a) anger den förväntade avkastningen om man i tillståndet s tar åtgärden a och följer policyn π därefter. Den optimala åtgärdsfunktionen är Q*(s,a) = maxπ Qπ(s,a). Värdefunktionerna uppfyller Bellman-ekvationerna, som binder värdet i ett tillstånd till förväntade värden i nästkommande tillstånd:

Vπ(s) = E[ R_{t+1} + γ Vπ(S_{t+1}) | S_t=s ],

Qπ(s,a) = E[ R_{t+1} + γ Vπ(S_{t+1}) | S_t=s, A_t=a ],

och för den optimala funktionen gäller liknande uttryck med max över åtgärder.

Användningar och variationer: Värdefunktionen är central i policyutvärdering och policyförbättring i dynamisk programmering och inom reinforcement learning. Metoder som värdeiteration, policyiteration, Q-learning och temporaldifferensinlärning bygger på den. I praktiken används ofta funktionell approximation för kontinuerliga tillståndsrum. Det finns skillnader mellan state-value och action-value funktioner samt mellan on-policy och off-policy metoder.