tillståndsvärde

Tillståndsvärde är det numeriska värde som tilldelas ett givet tillstånd i ett dynamiskt system eller en modell. Värdet beskriver vanligtvis hur gynnsamt eller kostsamt tillståndet är och kan spegla förväntad framtida nytta, kostnader eller annan merit som används som grund för beslutsfattande och jämförelse mellan olika tillstånd.

I tekniska sammanhang som styrteori och optimering används tillståndsvärdet för att sammanfatta hur bra ett specifikt tillstånd är i förhållande till ett mål. Värdet kan representera kostnaden att nå målet från tillståndet eller nyttan av att vara i det tillståndet, beroende på hur problemet är formulerat och vilken typ av beslut som ska tas.

Inom förstärkande lärande och Markov-beslutsprocesser definieras vanligtvis en tillståndsvärdefunktion Vπ(i) som den förväntade ackumulerade nyttan när starttillståndet är s och policyn π följs. Den allmänna defineringen är Vπ(s) = Eπ[ sum_{t=0}^∞ γ^t r_t | s0 = s ], där γ är avkassningsfaktorn och r_t är återkopplingen vid tiden t. Den optimala tillståndsvärdefunktionen är V*(s) = maxπ Vπ(s).

Värdefunktioner uppskattas genom metoder som dynamisk programmering, Monte Carlo-simuleringar och temporaldifferensinlärning (TD). De används inom planering, styrning och beslutsfattande under osäkerhet för att vägleda handlingsval.