Säännöllistämistekniikat

Säännöllistämistekniikat ovat menetelmiä, joita käytetään koneoppimisessa ylisovittumisen estämiseksi. Ylisovittuminen tapahtuu, kun malli oppii harjoitusdatan liian tarkasti, mukaan lukien sen kohinan, ja menettää kykynsä yleistää uuteen, näkemättömään dataan. Säännöllistäminen lisää malliin rajoituksia tai rangaistuksia, jotka vähentävät sen monimutkaisuutta ja parantavat sen yleistyskykyä.

Yksi yleisimmistä säännöllistämistekniikoista on L1-säännöllistäminen, joka tunnetaan myös nimellä Lasso. Se lisää mallin kustannusfunktioon painokertoimien itseisarvojen summan. Tämä voi johtaa harvempaan malliin, jossa osa painokertoimista nollautuu, mikä toimii käytännössä ominaisuuksien valintana.

Toinen suosittu tekniikka on L2-säännöllistäminen, eli Ridge-säännöllistäminen. Se lisää kustannusfunktioon painokertoimien neliöiden summan. L2-säännöllistäminen pyrkii pienentämään kaikkia painokertoimia lähelle nollaa, mutta harvoin nollaamaan niitä kokonaan. Tämä auttaa tasoittamaan mallin päätöksiä ja estämään yksittäisten ominaisuuksien liiallista vaikutusta.

Kolmas tekniikka on dropout, jota käytetään erityisesti neuroverkoissa. Dropout satunnaisesti "pudottaa pois" eli jättää huomiotta osan neuroneista jokaisella harjoitusaskeleella. Tämä pakottaa verkon oppimaan redundanssia ja estää tiettyjen neuronien liiallisen riippuvuuden toisistaan.

Muita säännöllistämistekniikoita ovat esimerkiksi Early Stopping, jossa harjoitus lopetetaan, kun mallin suorituskyky validoinnissa alkaa heikentyä, sekä Data Augmentation, joka luo uutta harjoitusdataa muokkaamalla olemassa olevaa dataa (esim. kuvien kääntäminen tai skaalaus). Kaikkien näiden tekniikoiden tavoitteena on parantaa mallin kykyä yleistää ja välttää ylisovittumista.