autoencodeurs

Un autoencodeur est un type de réseau de neurones conçu pour apprendre une représentation compacte des données en les passant par un processus de codage puis de décodage. Il se compose typiquement d’un encodeur qui transforme l’entrée x en une représentation latente z, et d’un décodeur qui tente de reconstruire x à partir de z. Le réseau est entraîné de façon non supervisée pour que la reconstruction soit aussi fidèle que possible.

Pendant l’entraînement, l’objectif est d’optimiser une fonction de perte de reconstruction, telle que l’erreur quadratique moyenne pour des données continues ou l’entropie croisée pour des données binaires. Le goulot d’étranglement, c’est‑à‑dire la dimension réduite de z, force le modèle à capturer les caractéristiques les plus pertinentes des données.

Plusieurs variantes existent. L’autoencodeur variationnel (VAE) introduit une représentation probabiliste et apprend des paramètres de distribution dans l’espace latent, ce qui permet de générer de nouvelles données. Des autoencodeurs débruitants utilisent des entrées bruitées et apprennent à reconstruire l’entrée originale. D’autres variantes incluent l’autoencodeur parcimonieux, qui intègre une régularisation favorisant des activations peu nombreuses, et l’autoencodeur contractif, qui met l’accent sur la robustesse des représentations.

Applications: réduction de dimension, apprentissage de représentations pour des tâches supervisées, débruitage d’images ou de signaux, détection d’anomalies et modèles génératifs. Les autoencodeurs peuvent aussi servir au pré-entraînement non supervisé dans des architectures plus complexes.

Limites: sans régularisation adéquate ou goulot d’étranglement approprié, l’autoencodeur peut apprendre une fonction d’identité trivial. Le succès dépend de l’architecture, de la taille du code et de la qualité des données.