Hyperparameterafstelling

Hyperparameterafstelling is het proces van het kiezen van hyperparameters van een machine learning-model. Hyperparameters zijn instellingen die niet tijdens het leerproces uit de data worden afgeleid, maar vooraf worden bepaald en het leerproces beïnvloeden. Voorbeelden zijn de leersnelheid, regularisatie, modelarchitectuur en batchgrootte.

De relevante hyperparameters variëren per modeltype. Bij neurale netwerken zijn voorbeelden de leersnelheid (learning rate), de optimizer, het aantal lagen en neuronen per laag, dropout en batchgrootte. Bij decision- en ensemble-methoden spelen onder meer maximumdiepte, minimum samples per split, het aantal bomen of estimators en regularisatie een rol. De keuze van hyperparameters bepaalt doorgaans de snelheid van het trainen en de uiteindelijke modelprestatie op nieuwe data.

Het doel van afstelling is het maximaliseren van de prestaties op een geldige evaluatie, meestal gemeten met een taakafhankelijke maat zoals nauwkeurigheid, F1-score, RMSE of logloss. Typische benaderingen zijn grid search (uitputtend verkennen van een vaste ruimte), random search (ruimtelijker, minder rekenintensief), en Bayesian optimization (gebruik van probabilistische modellen om slimme vervolgrondes te plannen). Ook evolutie-algoritmen komen voor. Het proces kan worden versneld met vroege stoppen en andere efficiëntietechnieken, maar blijft rekenintensief.

Uitdagingen omvatten hoge kosten, het risico op overfitting van de validatieset als de verkenning te ruim is, en gebrek aan reproduceerbaarheid. Best practices zijn onder meer het gebruik van vaste random seeds, gedocumenteerde en reproduceerbare experimenten, loggen van resultaten, en het beperken van de zoekruimte met verstandige priors. Populaire tools voor hyperparameterafstelling zijn Optuna, Hyperopt, Scikit-learn’s GridSearchCV en RandomizedSearchCV en Ray Tune.