tagaspropagatsiooniga

Tagaspropagatsiooniga on närvivõrkudes ja sügavaõppes keskne algoritm, mille abil arvutatakse võrgu parameetrite gradientid kaotuse funktsiooni suhtes. See võimaldab võrku õpetada, kuidas paremini andmeid klassifitseerida või prognoose teha, kasutades ahelreegli järgselt arvutatud osalisi derivaate.

Protsess koosneb kahest faasist: forward-pass ja backward-pass. Esimesel passil arvutatakse võrgust väljundid ja kaotuse väärtus. Teisel passil, liikudes kihtide kaupa tagurpidi, arvutatakse iga kihi gradient ja koostatakse, kuidas parameetrid tuleks uuendada. Parameetrid uuendatakse tavaliselt gradientide vähendamise teel, näiteks Stochastic Gradient Descenti või selle variatsioonide (Adam, RMSprop) abil ning sageli mini-batch suurustega.

Ajalugu: kontseptsioon ja matemaatilised alused ulatuvad 1960–70. aastatesse; praktiline läbimurre tuli 1980–1986. aastatel Rumelharti, Hintoni ja Williamsi tööd. Tagaspropagatsioon on aluseks paljudele kaasaegsetele sügavaõppe mudelitele.

Olulised aspektid: erinevad aktiveerimisfunktsioonid (sigmoid, tanh, ReLU) ning kaalude normaliseerimine aitavad vähendada gradientide kadumist ja plahvatamist; sobivad optimeerijad (Adam, RMSprop, SGD momentum) ja hea algväärtus. Vajadus hea koolitusdünaamika ja regulatsioonide järele, eriti sügavate võrkude puhul.

Kasutusvaldkonnad: visuaalne klassifikatsioon, kõnetuvastus, loomuliku keele töötlus ja teised ülesanded, kus on vaja õppida keerukaid seoseid sisendi ja väljundi vahel.