syväoppimismallit

Syväoppimismallit (deep learning) ovat koneoppimisen alaryhmä, jossa mallit koostuvat useista peräkkäisistä neuroverkko-kerroksista. Ne oppivat monimutkaisia, ei-lineaarisia riippuvuuksia suurilta datamääriltä ja rakentavat hierarkkisia esityksiä, joiden avulla tehtävään voidaan löytää parempi ratkaisu ilman käsin määriteltyjä piirteitä. Oppiminen perustuu suurille datapakkauksille ja vaatii usein huomattavia laskentaresursseja sekä muistia. Mallit voivat koulutua valvotussa, valvomattomassa tai vahvistusoppimisessa, ja niiden tulokset riippuvat datan laadusta.

Yleisimmät arkkitehtuurit ovat konvolutiiviset neuroverkot (CNN), joita käytetään erityisesti kuvatiedon käsittelyyn; toisaalta toistuvat verkot (RNN, LSTM) sekä transformer-pohjaiset arkkitehtuurit ovat nykyisin keskeisiä kielessä ja monissa monimodaalisissa tehtävissä. Transformer-mallit pystyvät käsittelemään pitkiä riippuvuuksia ja ovat johtaneet suurten kielimallien, kuten BERTin ja GPT:n kehitykseen. Myös autoenkooderit ja GAN-tyyppiset rakenteet kuuluvat syväoppimisen repertuaariin.

Oppiminen tapahtuu takaisinkytkennän ja gradienttilaskun avulla. Käytetään häviöfunktioita ja optimointialgoritmeja kuten SGD ja Adam. Datan esikäsittely, normalisointi sekä augmentointi ja säännöllistäminen ovat yleisiä koulutusvaiheita. Arviointi tehdään erillisillä testijoukoilla ja tehtäväkohtaisilla mittareilla, kuten tarkkuus, F1-arvo tai BLEU. Suuret syväoppimismallit ovat laskenta- ja energiavaativia sekä voivat kärsiä ylikoulutuksesta ilman riittäviä säännöllistämiskeinoja.

Sovelluksia ovat kuvan- ja videonkäsittely, luonnollinen kieli ja puhe sekä lääketieteellinen kuvantaminen, robotiikka ja suositusjärjestelmät. Haasteita ovat datan laatu ja puolueettomuus, malliensa läpinäkyvyyden puute sekä mahdollinen harha. Lisäksi järjestelmät kuluttavat runsaasti energiaa, ja niiden käytön eettisyys sekä turvallisuus on varmistettava.