Vahvistusoppimista

Vahvistusoppiminen tarkoittaa koneoppimisen ala, jossa agentti oppii toimimaan vuorovaikutuksessa ympäristön kanssa pyrkien maksimoimaan kumulatiivisen palkkion. Nimityksen keskeinen idea on oppia politiikka, eli ohjeisto siitä, miten tiloissa tulisi valita toiminnot, jotta pitkän aikavälin palkkio kasvaa.

Ympäristössä on tilat, toiminnot ja palkkiot. Agentti havaitsee tilan, valitsee toiminnon ja saa palkkion sekä siirtyy seuraavaan tilaan. Palkkio ohjaa oppimista ja tarkoituksena on optimoida odotettu diskontattu palkkio, jossa tulevan arvon merkitys vähenee aikaskaala-parameterin (gamma) avulla.

Keskeisiä käsitteitä ovat politiikka, arvofunktio ja Q-funktio. Politiikka määrittelee, miten agentti toimii tietyssä tilassa. Arvofunktio tai Q-funktio arvioivat, minkä arvon seuraava tilapolku tuottaa. RL-ongelma voidaan ratkaista mallipohjaisesti (malli ympäristöstä käytettävissä) tai mallittomasti (ei mallia). Toisaalta voidaan käyttää arvoihin tai politiikkaan perustuvia menetelmiä, tai niiden yhdistelmiä.

Pääalgoritmit ja suuntaukset ovat muun muassa arvoihin perustuvat Q-oppiminen ja SARSA, syvää oppimista hyödyntävät syvät Q-verkot (DQN), sekä politiikkapohjaiset menetelmät kuten REINFORCE, policy gradient ja Proximal Policy Optimization (PPO). Aktorikriittiset (Actor-Critic) menetelmät yhdistävät näitä lähestymistapoja. Mallipohjaisuuden lisäksi haasteina ovat näytön luotettavuus, tehokas kokeilu ja turvallisuus sekä palkkiorakenteen oikeellisuus.

Sovelluksia ovat robotiikka, pelit, suositusjärjestelmät ja ohjausjärjestelmät. RL:n historia ulottuu dynamiikan ohjelmointiin ja Bellmanin yhtälöihin; keskeisiä nimiä ovat Sutton ja Barto sekä heidän RL-kirjansa.