sügavneuronvõrk

Sügavneuronvõrk on tehisnärvivõrk, millel on mitu peidetud kihti. Tänu nende kihilistele esindustele suudab võrk õppida hierarhilisi mustreid keerukatest andmetest. Võrk koosneb sisendi-, mitmest peidetud- ja väljundkihist; neuronid on ühendatud kaaludega ning nende tegevust määravad mitte-lineaarsete aktivatsioonifunktsioonide kaudu. Treenimine toimub suurte andmekogumite abil ning kasutab tagasi levitamist (backpropagation) ja gradientide langust või muid optimeerimisalgoritme.

Sügavuse tõttu on levinud erinevad arhitektuurid, näiteks sügavad feed-forward võrgud, konvolutsioonivõrgud (CNN-id), rekurrentsed võrgud (RNN-id) ja transformeri-põhised mudelid. Mitme kihi olemasolu võimaldab õppida järjest keerukamaid seoseid, kuid suurendab treeningu kulu ning nõuab tavaliselt suuremaid andmekogumeid ja tugevat arvutusvõimsust (GPU/TPU).

Treening põhineb optimeerimisel: kaalu parandamine, et minimeerida kaotust funktsiooni. Sageli kasutatakse optimeerijaid nagu stochastic gradient descent (SGD) ja Adam. Regulaarimine (dropout, L1/L2-regulaarimine) ning partii normaliseerimine (batch normalization) aitavad vältida üleõppimist. Andmete ettevalmistus ja suurendamine (data augmentation) parandavad mudeli üldistuvust, eriti piiratud andmekogumite puhul.

Sügavneuronvõrke rakendatakse laialdaselt pildituvastuses ja videote analüüsis, loomulikus keeles töötlemises (NLP), kõnetuvastuses, soovitusmootorites ning meditsiini- ja finantsanalüüsis. Uued arhitektuurid, nagu transformerid, on suurendanud mudelite suurust ja suutlikkust keeles ja visuaalses mõistmises.