régressions

Les régressions désignent un ensemble de méthodes statistiques visant à modéliser la relation entre une variable dépendante et une ou plusieurs variables indépendantes. L’objectif est soit de prédire des valeurs de la variable dépendante, soit d’en décrire la relation et d’estimer la force des associations.

La régression linéaire simple décrit une relation approximative par une ligne droite y = β0 + β1 x + ε, où β0 et β1 sont des paramètres à estimer et ε représente l’erreur aléatoire. La régression multiple étend ce cadre à plusieurs prédicteurs. En revanche, la régression non linéaire permet des formes plus complexes des relations.

Les paramètres sont généralement estimés par les moindres carrés ordinaires ou par des méthodes du maximum de vraisemblance; des techniques de régularisation comme ridge ou lasso peuvent être utilisées pour prévenir le surapprentissage et gérer la multicolinéarité.

La régression repose sur des hypothèses concernant les données, notamment la linéarité (dans le cas linéaire), l’indépendance et l’homoscedasticité des erreurs, et la normalité des erreurs pour les intervalles de confiance et les tests. Lorsque ces hypothèses ne tiennent pas, les estimations et les inférences peuvent être biaisées.

Historique: le concept de régression vers la moyenne a été introduit par Francis Galton au XIXe siècle; les modèles de régression linéaire ont ensuite été formalisés par les statisticiens et largement adoptés en sciences et en économie. En pratique, la régression sert à l’estimation et à la prédiction, mais elle ne prouve pas la causalité.

Applications et limites: utilisée dans les sciences sociales, économiques, biologie, ingénierie et apprentissage automatique. Les résultats reflètent des associations; établir la causalité nécessite une analyse appropriée et des données adaptées. Les principaux risques incluent la sur-spécification, la multicolinéarité et l’extrapolation hors de l’échelle.