autoentraînement

Autoentraînement, ou apprentissage auto-supervisé, est une approche du machine learning qui combine un petit ensemble étiqueté avec un volume plus important de données non étiquetées. Le modèle est construit à partir des données étiquetées et est ensuite utilisé pour étiqueter une partie des données non étiquetées; les exemples les plus confiants sont ajoutés au jeu d’entraînement et le processus est répété.

Le mécanisme typique consiste à entraîner d’abord un modèle sur les données étiquetées, puis à prédire les étiquettes des données non étiquetées. On retient généralement les prédictions pour lesquelles le modèle affiche une grande confiance ou une probabilité élevée, et l’on réentraîne le modèle avec ces pseudo-étiquettes. Ce cycle peut être répété jusqu’à épuisement des données non étiquetées ou jusqu’à convergence des performances. La calibration de la confiance et le choix des seuils sont cruciaux pour limiter la propagation d’erreurs.

Il existe des variantes associées à l’autoentraînement. Le co-entraînement suppose l’existence de deux vues de données différentes, chacun entraînant un classificateur; les étiquettes sur lesquelles les deux modèles sont d’accord sont ajoutées au jeu d’entraînement. Le tri-entraînement étend ce principe à trois classificateurs et utilise les accords entre eux pour enrichir l’ensemble d’entraînement sans supervision supplémentaire importante.

Avantages et limites: l’autoentraînement peut exploiter de grandes quantités de données non étiquetées et améliorer les performances lorsque les étiquettes sont coûteuses. Cependant, il peut aussi propager des erreurs si les prédictions initiales sont incorrectes ou si la confiance est mal calibrée. Il est largement utilisé en traitement du langage naturel et en vision par ordinateur, et constitue une méthode simple et efficace dans des contextes où les données non étiquetées abondent.