Kaotusfunktsioon

Kaotusfunktsioon (loss function) on funktsioon, mis mõõdab prognooside ja tegelike väärtuste vahel tekkivat erinevust või vigast. Ta annab mõõtme, kui hästi mudel täpselt töötab, ning kaotus on tavapäraselt mittenegatiivne ning null, kui prognoos on täpne. Kaotusfunktsiooni eesmärk on suunata mudeli parameetrite optimeerimist nende vigade minimeerimiseks.

Erinevatel ülesandel on erinevad kaotusfunktsioonid. regressioonis kasutatakse sageli L2-kaotust ehk ruutviga, mis on valitud, kui soovitakse suuremate vigade puhul suuremat karistust. L1-kaotus (liiniviga) on robustsem väljaheituste suhtes. Huber-viga ühendab L1 ja L2 omadused ja on heal, kui andmetes esinevad väljaheited. Klassifikatsioonis on tavaline ristentropia või log-kaotus, mis mõõdab prognooside tõenäosuste ja tegelike klasside vahelist sobivust; mitmeklassilise klassifikatsiooni korral kasutatakse pehmetmaksu (softmax) ja cross-entropy’t. Mõnikord kasutatakse ka hinge-viga (hinge loss) tugeval õppimisel nagu SVM-id. Kaotus võib olla lisaks standaardseks keskne aritmeetiline keskmine või summatena üle näidete.

Omadused ja optimeerimine: ideaalne kaotus aitab gradientide kaudu optimeerida mudeli parameetreid. Paljud klassikalised kaotused on konveksed, kuid neuralsüsteemide puhul on kogu optimeerimisprobleem sageli mitte-konveks. Hea kaotus kõrgendab mudeli stabiilsust, mõjutab konvergentsikiirust ja väljaöötatud vigade tundlikkust.

Kasutus: treeningprotsessis kogutakse kaotuspaugud ja optimeerimise jaoks minimeeritakse neid, sageli keskmistades üle treeningnäidete ning kasutades tagastõmbamist või backpropagation’i. Kaotus koos regulaarimisega kujundab mudeli üldistuvust.