Förstärkningslärning

Förstärkningslärning, eller reinforcement learning (RL) på engelska, är ett område inom maskininlärning som handlar om hur en agent bör agera i en miljö för att maximera en kumulativ belöning. Till skillnad från övervakad inlärning, där träningsdata består av input-output-par, får agenten i förstärkningslärning ingen explicit vägledning om vad som är rätt eller fel. Istället lär sig agenten genom "trial and error", genom att utföra handlingar och observera konsekvenserna i form av belöningar eller bestraffningar.

Kärnan i förstärkningslärning är ett system bestående av en agent och en miljö. Agenten observerar miljöns tillstånd, väljer en handling baserat på detta tillstånd och utför handlingen. Miljön svarar sedan genom att övergå till ett nytt tillstånd och ge agenten en belöning. Målet för agenten är att utveckla en strategi, eller policy, som kartlägger tillstånd till handlingar på ett sätt som maximerar den förväntade totala belöningen över tid.

Centrala koncept inom förstärkningslärning inkluderar tillstånd, handlingar, belöningar, policyer och värdefunktioner. Värdefunktioner uppskattar hur bra ett visst tillstånd är, eller hur bra det är att utföra en viss handling i ett givet tillstånd, med hänsyn till framtida belöningar. Algoritmer som Q-learning och Deep Q-Networks (DQN) är exempel på metoder som används för att lära sig dessa värdefunktioner och därmed optimera agentens beteende.

Tillämpningsområden för förstärkningslärning är många och inkluderar bland annat robotik, spel (som schack och Go), autonoma fordon, rekommendationssystem och resursallokering. Framgången inom dessa områden har drivit fram ett intensivt forskningsintresse för att utveckla mer effektiva och generella förstärkningsinlärningsmetoder.