regulaarisatsiooni

Regulaarisatsiooni on statistikas ja masinõppes kasutatav tehnika, mille eesmärk on ennetada üleõppimist (overfitting). Üleõppimine tekib siis, kui mudel õpib treeningandmetest liiga täpselt, omandades ka müra ja vead, mis halvendab selle jõudlust uutel, nägemata andmetel. Regulaarisatsioon lisab mudeli treeningprotsessi karistustermini, mis piirab mudeli kompleksust.

See karistustermini avaldub tavaliselt mudeli kaalude (weights) suuruse piiramises. Liiga suured kaalud viitavad sellele, et mudel on liiga tundlik treeningandmete väikeste muutuste suhtes. Regulaarisatsioon vähendab nende kaalude suurust, muutes mudeli üldisemaks ja seeläbi parandades selle suutlikkust ennustada uusi andmeid.

Levinumad regulaarisatsiooni vormid on L1 (Lasso) ja L2 (Ridge) regulaarisatsioon. L1 regulaarisatsioon lisab karistustermini, mis on võrdeline kaalude absoluutväärtuste summaga. See võib viia mõnede kaalude täielikule nulliks muutumisele, mis toimib ka funktsioonide valikuna (feature selection). L2 regulaarisatsioon lisab karistustermini, mis on võrdeline kaalude ruutude summaga. See pigem vähendab kaalude suurust, kuid ei nulli neid täielikult. Mõlema meetodi eesmärk on saavutada parem kompromiss mudeli sobivuse (fit) ja selle üldistatavuse vahel.