Kaotusefunktsiooni

Kaotusefunktsioon (loss function) on statistikas ja masinõppes mõõde, mis hindab mudeli prognoosi ja tegelike andmete vahelise erinevuse suurust. Tavaliselt tähistatakse L(y, ŷ) või L(y_i, ŷ_i), kus y on tegelik väärtus ja ŷ mudeli ennustus. Kaotuse väärtus kasvab prognoosi ja tegeliku väärtuse suuremate erinevuste korral, ning väiksem kaotus näitab paremat sobivust mudelile.

Eesmärk on minimeerida kaotus, mis väljendab oodatud kahju või riski. See tähendab E[L(Y, f(X))], kus X on sisend ja Y vastav tegelik vastus. Praktilises koolituses minimeeritakse sageli empiriline risk: (1/n) ∑_{i=1}^n L(y_i, f(x_i)).

Levinumad kaotusefunktsioonid hõlmavad L2-kaotust (mean squared error): L2(y, ŷ) = (y − ŷ)^2; L1-kaotust (mean absolute error): L1(y, ŷ) = |y − ŷ|; ristkrahhaotust (cross-entropy) klassifikatsioonis: binary cross-entropy ja multiclass cross-entropy; hinge kaotust, mida kasutatakse peamiselt SVM-ides; huber-kaotust, mis on L1 ja L2 vahelise kompromissina. Kaotused võivad olla kohandatavad konkreetse probleemiga, näiteks Poisson-kaotus count data jaoks.

Omadused ja optimeerimine: paljud kaotused on konveksed, mis lihtsustab optimeerimist ja tagab tavaliselt parema konvergentsi. Mõned kaotused on mitte-diferentseeruvad mõnes kohas (nt L1). Optimeerimisel kasutatakse gradientide meetodeid, nagu gradient descent ja tagasijuhitav tagasi levitamine (backpropagation) närvivõrkudes; vajadusel kasutatakse subgradient’i.

Kasutus: kaotusefunktsioone kasutatakse peamiselt regressioonis ja klassifikatsioonis mudelite koolitamisel ning hindamisel, sageli koos regulaarsuse ja sobiva optimeerijaga.