Ce texte est une traduction automatique ; la version originale est en anglais. Lire l'original
Il existe deux droites de régression, et R² est l'écart qui les sépare
Intervertissez la variable considérée comme entrée et la droite d'ajustement se déplace. R² indique précisément de combien.
La méthode des moindres carrés cherche la droite qui minimise les erreurs au carré. L'expression masque un choix : dans quelle direction mesure-t-on les erreurs ?
Ajuster y en fonction de x minimise les distances verticales. Ajuster x en fonction de y minimise les distances horizontales. Il s'agit de problèmes différents conduisant à des résultats différents, bien qu'on les appelle tous deux droite de régression.
Les deux pentes
Notez r la corrélation et s les écarts-types. La droite de régression de y en x a pour pente r·sy/sx. La droite de régression de x en y, tracée sur les mêmes axes, a pour pente sy/(r·sx).
Divisez l'une par l'autre et tout se simplifie, à l'exception de r².
Ce n'est ni une coïncidence ni une approximation. Le rapport des deux pentes est R², ce nombre que tous les logiciels de statistique affichent et que la plupart des lecteurs considèrent comme une note vague sur un.
Pourquoi personne ne le remarque
Ouvrez Linear Regression : l'outil indique r de Pearson = 0,998 avec R² = 0,996 sur ses points par défaut. Élevez le premier au carré et vous obtenez le second, exactement.
Cela signifie également que les deux droites obtenues avec ces données par défaut ne diffèrent que de 0,4 %. Vous ne pourriez pas voir la différence si les deux étaient tracées, ce qui explique précisément pourquoi cette ambiguïté passe inaperçue : les données de démonstration présentent presque toujours une forte corrélation.
Diminuez cette corrélation et les deux droites s'écartent rapidement :
- r = 0,9 → les pentes diffèrent de 19 %
- r = 0,5 → une pente vaut quatre fois l'autre
- r = 0 → l'une des droites est horizontale, l'autre verticale
En cas de corrélation nulle, les deux réponses forment un angle droit. Elles n'en restent pas moins correctes toutes les deux, car chacune est la meilleure prédiction pour sa propre variable cible.
Le cas r = 0,5 en chiffres
Considérez deux variables ayant la même dispersion et une corrélation de 0,5. Prédire y à partir de x donne une pente de 0,5 : un point situé à un écart-type à droite de la moyenne prédit une valeur située un demi-écart-type au-dessus de la moyenne.
Prédisez maintenant x à partir de y. Cette pente vaut également 0,5 dans son propre repère, mais représentée sur les axes d'origine, elle devient 1/0,5 = 2.
L'une des droites s'élève avec une pente de 0,5, l'autre de 2, à travers le même nuage de points, et 0,5 / 2 = 0,25, ce qui correspond à r². Aucune des deux ne constitue un moins bon ajustement que l'autre. Elles répondent à des questions différentes, et les données seules ne peuvent pas déterminer celle que vous visiez.
C'est la régression vers la moyenne
Exprimée en écarts-types, la droite de y en x s'écrit simplement zy = r · zx. Puisque r vaut au maximum 1, la prédiction est toujours plus proche de la moyenne que ne l'était la valeur d'entrée.
Les pères de grande taille ont des fils grands, mais plus proches de la moyenne. Les entreprises connaissant une année spectaculaire ont tendance à enchaîner avec une année simplement bonne. Aucun de ces faits ne nécessite d'explication causale, et le piège réside dans la symétrie de l'effet : ces fils ont eux aussi des pères plus proches de la moyenne qu'eux-mêmes. Toute explication prétendant justifier le phénomène dans un sens se trouve réfutée dans l'autre.
Galton qualifiait ce phénomène de régression vers la médiocrité, et c'est la raison pour laquelle le terme de régression a fini par désigner l'ensemble de la méthode.
Quand aucune des deux droites n'est celle que vous cherchez
Les deux droites supposent que l'une des variables est mesurée sans erreur. Si toutes deux sont entachées de bruit, comme lorsqu'on compare deux instruments, les deux droites sont biaisées et la réponse se situe entre les deux.
Least-Squares Geometry rend l'image sous-jacente concrète : l'ajustement est une projection, et la droite obtenue dépend de la direction de cette projection. Son ajustement par défaut affiche une SSE de 1,3714 dont 37,2 % provient d'un seul point, ce qui illustre l'autre caractéristique discrète des moindres carrés. Élever les erreurs au carré signifie qu'un seul point éloigné peut l'emporter sur une multitude de points proches.
Ainsi, avant de communiquer une pente, déterminez son objectif. Prédire y à partir de x constitue une première question ; estimer une relation physique entre deux grandeurs bruitées en est une autre, et seule la première admet une unique droite évidente.