Käyttäytymiskloonaus

Käyttäytymiskloonaus (behavior cloning) on oppimismenetelmä tekoälyssä ja robotiikassa, jossa agentin ohjauspolitiikka opitaan suoraan asiantuntijan demonstraatioista. Kyse on valvotusta oppimisesta, jossa tilan ja toimenpiteen parit muodostavat koulutusdatan.

Prosessi koostuu demonstraatioista peräisin olevien tilojen ja toimien parien keräämisestä, esikäsittelystä ja valvotun oppimisen mallintamisesta. Tilat voivat olla sensoritietoja, ympäristön tilamuuttujia tai tilakuvauksia, ja toiminnot voivat olla diskreettejä tai jatkuvia. Malli, usein neuroverkko, opettaa suoran tilasta toimintaan -mapin.

Edut: Käyttäytymiskloonaus on yksinkertainen ja nopea tapa saada käyttökelpoinen politiikka ilman palkkiofunktion määrittelyä. Se voi hyödyntää monimutkaisia demonstrointeja ja soveltuu erityisesti robotiikkaan, autonomiseen ajoon ja peleihin.

Rajoitteet: Demonstraatioihin sidottu oppi ei aina yleisty hyvin uusiin tiloihin. Se voi kärsiä covariate shiftistä (tila- ja jakautumismuodon muutoksista), sekä kertautuvista virheistä, jolloin pienet epäonnistumiset johtavat suurempiin virherakenteisiin seuraavissa askelissa. Lisäksi se vaatii laadukkaita demonstraatioita kattavan kattavuuden varmistamiseksi.

Suhteet muihin lähestymistapoihin: Käyttäytymiskloonaus eroaa inverse reinforcement learningista, jossa etsitään palkkio- tai tavoitefunktioita sen sijaan, että kopioitaisiin suoraan demonstraatioita. Yhdistämällä tekniikoita voidaan parantaa yleisyyttä ja turvallisuutta.