MARalgoritmes

MARalgoritmes zijn algoritmen voor leren van gedrag in omgevingen waarin meerdere agenten tegelijk handelen en de beloningen afhangen van hun gezamenlijke acties. In tegenstelling tot single-agent reinforcement learning veroorzaken interacties tussen agenten vaak non-stationariteit en complexe credit-toewijzing tussen agenten.

Ze worden vaak bestudeerd als Markov-spellen (stochastische spellen) waarbij elk agent een eigen beleidsfunctie heeft en het totale rendement afhangt van de combinatie van alle acties. Scenarios kunnen volledig coöperatief, competitief of gemengd zijn. Een veelvoorkomend leerparadigma is centrale training met decentraal uitvoeren: tijdens het trainen mag informatie uit het gezamenlijke toestands- en actieruimte worden gebruikt, terwijl agenten tijdens uitvoering alleen lokale observaties hebben.

Typische methoden omvatten zowel waardegebaseerde als beleidsgebaseerde benaderingen. Voorbeelden van waardegebaseerde methoden zijn onafhankelijke Q-learning en joint-action learners. Beleidsgebaseerde varianten omvatten CTDE-methoden zoals MADDPG, QMIX en COMA, die cruciale interacties tussen agenten modelleren via gecentraliseerde critics of gefactoriseerde computaties. Er bestaan ook methoden met communicatie- en samenwerking tussen agenten.

Toepassingen strekken zich uit over robotische teams, verkeersregeling, slimme energienetwerken, autonome voertuigen en complexe spelsituaties. Benchmarks zoals de Multi-Agent Particle Environment en StarCraft II micromanagement worden gebruikt om algoritmes te evalueren. Belangrijke uitdagingen zijn non-stationariteit door meerdere leerende agents, credit assignment tussen agenten, schaalbaarheid naar veel agenten en gedeeltelijke waarneming.