Differentiableobjektiiveja

Differentiableobjektiiveja tarkoitetaan optimoitavia tavoitefunktioita, jotka ovat differentioituvia suhteessa päätösmuuttujiksi tai mallin parametreihin. Tämän differentiabiliteetin ansiosta voidaan laskea gradientit ja soveltaa gradienttipohjaisia optimoitumismenetelmiä kuten gradienttiosoittuja tai yhteisgradien löytämistä, mikä on keskeistä monissa koneoppimis- ja säätötehtävissä.

Jos tavoitefunktio on sekä differenti, että konveksiivinen, minimointi on usein hyvin määritelty ja yksikäsitteinen. Monimutkaisemmissa ongelmissa tavoite on usein ei-konveksi, jolloin ratkaisut voivat olla useita paikallisia minimejä ja global minimien löytäminen voi olla haastavampaa. Differentiability mahdollistaa tehokkaat, vaeltaa tai skaalata hillitsevät menot, mutta ei itsessään takaa parempaa ratkaisua.

Esimerkiksi koneoppimisessa käytetään usein differentiableobjektiiveja kuten neliövirhe tai logistinen menetelmä (cross-entropy), jotka ovat selvästi derivatiivisia ja joiden gradientit voidaan laskea tai automatisoida differointi-ohjelmistoin. Näiden avulla voidaan harjoittaa malleja takaisinkytkennän kautta ja päivityksiä tehdä riittävän pieninaskelin.

Ei-differentiabööitä objektiiveja, kuten L1-regularisointi tai joissakin tapauksissa ReLU-aktivointeihin liittyvät pisteet, voivat vaatia epäsuoria menetelmiä tai subgradientteja. Monimutkaisemmissa tilanteissa differenstabiliteetin ja smoothingin avulla voidaan helpottaa optimointia.

Sovellukset kattavat koneoppimisen lisäksi tilastollisen estimoinnin, taloustieteen mallit sekä robotiikan ja ohjausjärjestelmät, missä gradienttien hyödyntäminen nopeuttaa konvergenssia ja parantaa tarkkuutta. Monitavoitteisessa optimoinnissa useita differentiable objektiiveja voidaan yhdistää scalaroinnilla tai etsiä Pareto-optima lisäämällä painotuksia tai hyödyntämällä monisäätömenetelmiä.