Autoenkooderi

Autoenkooderi on neuraverkko, jota käytetään epävalvottuna oppimisena. Sen ensisijainen tehtävä on rekonstruoida syöte mahdollisimman tarkasti, mutta sen sisäinen edustuksena toimiva latentti tila on kompaktimpi. Malli koostuu kahdesta osasta: enkooderista, joka muuntaa syötteen tiiviiksi latentti-tilaksi, sekä dekooderista, joka rekonstruoi syötteen tästä tilasta.

Koulutus perustuu rekonstruointivirheen minimointiin. Yleisiä mittareita ovat mean squared error jatkuville tiedoille ja ristivirhe binarylle. Koska autoenkooderi toimii pääasiassa ilman ohjattuja labeloita, se on erityisen tehokas oppimaan ominaisuuksia ja pienentämään dimensioita datasta.

Variantit: alikirjoitettu autoenkooderi (latentti tila pienempi kuin syöte) ja ylikirjoitettu autoenkooderi (latentti tila suurempi, mutta säännöllistämällä vältetään pelkkä identtinen toisto). Denoising autoencoder lisää kohinaa syötteeseen ja opettaa rekonstruoimaan puhtaan version. Contractive autoencoder pyrkii tekemään latentin edustuksen robustiksi syötteen muutoksille. Variational autoencoder (VAE) on todennäköisyyspohjainen versio, joka tuottaa jakaantunutta latentti tilaa ja mahdollistaa uusien datapisteiden generoinnin.

Käyttökohteita ovat tiedon purku ja dimensioiden pienentäminen, ominaisuuksien oppiminen, kuvien ja äänien denoiminen sekä inpaintin ja anomaliatutkimusten kaltaiset sovellukset. Historiaan kuuluu autoenkooderien varhaisempi kehitys 1980–1990-luvulla ja syvempien mallien nousu 2000-luvulla; variational autoencoder julkaistiin laajalti Kingma ja Wellingin toimesta vuonna 2013.