beslissingsknopen

Beslissingsknopen zijn de knopen in een beslissingsboom waar een test of diagnose op een kenmerk van de data wordt uitgevoerd. Elk beslissingsknoop splitst de data in twee of meer groepen op basis van de uitkomst van die test, waarna de groepen verder worden opgesplitst totdat eindknopen (leaf nodes) zijn bereikt die een voorspelling of besluit opleveren. In een beslissingsboom verwijzen interne knopen naar beslissingsknopen en de eindknopen naar de uitkomst of het label.

Bij beslissingsknopen kun je onderscheid maken tussen numerieke en categorische kenmerken. Voor numerieke kenmerken wordt vaak een drempelwaarde gekozen waardoor de data in twee delen wordt verdeeld (bijvoorbeeld leeftijd > 50). Voor categorische kenmerken worden vaak meerdere categorieën opgesplitst op basis van een selectiecriterium. In een training van een beslissingsboom worden op elk knooppunt de kenmerken en thresholds gekozen die de best mogelijke scheiding leveren volgens een gekozen criterium, zoals informatiewinst (entropie), Gini-impurity of gain ratio. Veelgebruikte algoritmen zijn ID3, C4.5 en CART, waarbij de laatste meestal binary splits gebruikt en CART ook voor regressie kan worden toegepast.

Beslissingsknopen worden veel toegepast in classificatie- en regressieproblemen en staan bekend om hun transparantie en uitlegbaarheid. Ze vormen de basis van veel eenvoudige modeltypen en zijn bouwstenen van complexere ensembles zoals random forests en gradient boosting. Nadelen zijn onder meer overfitting bij diepe bomen, gevoeligheid voor kleine datawijzigingen en biases in trainingsdata. Methoden zoals pruning, kruisvalidatie en het gebruik van ensembles helpen deze nadelen te mitigeren.