Regulaarisatsioon

Regulaarisatsioon on masinõppe ja statistika tehnika, mida kasutatakse mudelite üleliigse sobivuse (overfitting) vältimiseks. Üleliigne sobivus tekib siis, kui mudel õpib treeningandmetest liiga palju, sealhulgas müra ja eripärasid, mis omakorda põhjustab kehva jõudluse uutel, nägemata andmetel. Regulaarisatsioon lisab mudeli objektiivifunktsioonile karistustermini, mis piirab mudeli parameetrite suurust. See karistus innustab mudelit olema lihtsam ja vähem tundlik treeningandmete väikeste muutuste suhtes.

Kaks levinumat regulaarisatsiooni tüüpi on L1 regulaarisatsioon (Lasso) ja L2 regulaarisatsioon (Ridge). L1 regulaarisatsioon lisab absoluutsete koefitsientide summa ruutudele karistustermini, mille tulemuseks on sageli mõne koefitsiendi nulliks muutumine, toimides seega ka omamoodi omaduste valikuna. L2 regulaarisatsioon lisab koefitsientide ruutude summale karistustermini, mis püüab hoida koefitsiente väikestena, kuid harva nulliks. Mõlema meetodi eesmärk on vähendada mudeli komplekssust ja parandada selle üldistatavust. Regulaarisatsioonitehnikaid rakendatakse erinevates mudelites, sealhulgas lineaarsetes mudelites, närvivõrkudes ja tugivektorimasinates. Regulaarisatsiooni parameetri (tuntud ka kui λ või α) valik on oluline ja seda tehakse tavaliselt ristvalideerimise abil.