Autoenkooderit

Autoenkooderi on neuraverkkomalli, jonka tarkoituksena on oppia rekonstruoimaan syöte mahdollisimman tarkasti. Se koostuu kahdesta osasta: encoder, joka muuntaa syötteen tiivistettyyn piilotettuun tilaan (latentin tilaan), sekä dekooderi, joka rekonstruoi syötteen tästä tilasta. Bottleneck-tila pakottaa verkon oppimaan olennaiset piirteet, jolloin latentti tila toimii tiiviinä representaationa syötteestä. Koulutus tapahtuu vähentämällä rekonstruktiovirhettä, esimerkiksi mean squared errorin tai binääristen tietojen tapauksessa ristiviinivirheellä, usein backpropagationilla.

Yleensä arkkitehtuuri on symmetrinen: samaa päättelyä käytetään sekä koodauksessa että rekonstruoinnissa, ja latentin tilan koko on pienempi kuin alkuperäinen syöte. Tämä mahdollistaa tiiviin representaatioiden oppimisen, joita voidaan käyttää erilaisissa tehtävissä, kuten tehokkaassa ulostulon pakkaamisessa ja ominaisuuksien hakemisessa ennen muita malleja.

Variantit ja laajennukset kattavat useita tarkoituksia. Denoising autoencoderissa syöte korruptoidaan ennen syöttöä ja malli opetetaan rekonstruoimaan puhdas versio; sparse autoencoder lisää sparsity- tai aktiivisuusrajoituksia löytääkseen harvempia mutta erottuvia piirteitä; contractive autoencoder kannustaa pieniin muutoksiin robustin tilan pysymistä. Variational autoencoder (VAE) on todennäköisyysperusteinen malli, joka oppii latentin tilan jakauman ja mahdollistaa generatiivisen toiminnan. Reparametrization-trickin avulla VAE:t voidaan optimoida perinteisesti.

Käyttökohteita ovat kuviin ja ääniin liittyvä tiivistäminen ja puhdistus, anomaliatunnistus, ominaisuuksien oppiminen ja generatiivinen mallinnus. Autoenkooderit ovat keskeinen väline esikoulutuksessa ja syvillä verkkoarkkitehtuureilla toimivassa koneälyssä. Historia juontaa juurensa 1980-luvulle, ja termi sekä perusideat ovat kehittyneet vuosien saatossa lukuisien tutkimusten myötä, mukaan lukien denoising-, sparse-, variational- ja muita variantteja.