hyperparamètres

Les hyperparamètres, ou paramètres hyperparamètres, désignent les paramètres dont les valeurs sont fixées avant l’entraînement et ne sont pas ajustés au cours du processus d’apprentissage. Ils déterminent le comportement du modèle et de l’algorithme d’optimisation, influençant la vitesse de convergence, la stabilité et la capacité de généralisation.

À la différence des paramètres du modèle (poids et biais) qui sont estimés à partir des données, les hyperparamètres restent constants pendant l’entraînement et sont choisis par l’utilisateur ou par des méthodes d’optimisation externes. Parmi les exemples typiques figurent le taux d’apprentissage, la taille des lots (batch size), le nombre de couches ou de neurones dans un réseau, les fonctions d’activation, les coefficients de régularisation (L1/L2), le taux de dropout, le choix de l’optimiseur, le nombre d’époques ou les paramètres des arbres dans les modèles d’ensemble.

Le réglage des hyperparamètres a un impact majeur sur les performances et la robustesse du modèle. Un mauvais choix peut entraîner un surapprentissage, une sous-performance ou une convergence lente. Les méthodes de réglage incluent l’essai manuel, les recherches systématiques comme grid search ou random search, et des approches plus avancées telles que l’optimisation bayésienne, Hyperband ou le population-based training. Pour évaluer les configurations, on emploie fréquemment une validation croisée ou un jeu de validation.

En pratique, il convient de démarrer avec des valeurs recommandées, limiter l’espace de recherche, documenter les configurations et privilégier des méthodes d’optimisation automatique lorsque l’entraînement est coûteux. Les hyperparamètres jouent un rôle clé aussi bien en apprentissage automatique traditionnel qu’en apprentissage profond.