Esta es una traducción automática y el texto en inglés es la versión original. Leer el original
Hay dos rectas de regresión, y R² es la separación entre ellas
Al cambiar la variable elegida como entrada, la recta de mejor ajuste se desplaza. R² indica exactamente cuánto.
El método de los mínimos cuadrados encuentra la recta que minimiza los errores cuadráticos. La expresión oculta una elección: ¿en qué dirección se miden los errores?
Ajustar y sobre x minimiza las distancias verticales. Ajustar x sobre y minimiza las horizontales. Son problemas distintos con respuestas distintas, y a ambas se las llama la recta de regresión.
Las dos pendientes
Denotemos por r la correlación y por s las desviaciones típicas. La recta de y sobre x tiene como pendiente r·sy/sx. La recta de x sobre y, trazada sobre los mismos ejes, tiene como pendiente sy/(r·sx).
Al dividir una entre la otra, todo se simplifica excepto r².
Esto no es una coincidencia ni una aproximación. La razón de las dos pendientes es R², el número que muestra cualquier paquete estadístico y que la mayoría de los lectores consideran una puntuación vaga sobre uno.
Por qué nadie se da cuenta
Al abrir Linear Regression, la herramienta registra r de Pearson = 0,998 con R² = 0,996 en sus puntos por defecto. Al elevar el primero al cuadrado se obtiene el segundo, exactamente.
Esto también significa que las dos rectas para esos datos por defecto difieren en un 0,4 %. Resultaría imposible apreciar la diferencia aunque se representaran ambas, que es precisamente por lo que la ambigüedad pasa desapercibida: los datos de demostración casi siempre presentan una fuerte correlación.
Al reducir la correlación, las dos rectas se separan rápidamente:
- r = 0,9 → las pendientes difieren en un 19 %
- r = 0,5 → una pendiente es cuatro veces la otra
- r = 0 → una recta es horizontal y la otra vertical
Con una correlación nula, las dos respuestas son perpendiculares. Ambas siguen siendo correctas, porque cada una es el mejor predictor de su propio objetivo.
El caso r = 0,5 en números
Consideremos dos variables con la misma dispersión y una correlación de 0,5. Predecir y a partir de x da una pendiente de 0,5: un punto situado a una desviación típica a la derecha de la media predice media desviación por encima de la media.
Predigamos ahora x a partir de y. Esa pendiente también es 0,5 en su propio marco de referencia, pero representada sobre los ejes originales se convierte en 1/0,5 = 2.
Una recta asciende a 0,5 y la otra a 2, a través de la misma nube de puntos, y 0,5 / 2 = 0,25, que es r². Ninguna de las dos se ajusta peor que la otra. Responden a preguntas distintas, y los datos por sí solos no pueden indicar cuál de las dos se pretendía formular.
Esto es la regresión a la media
Expresada en desviaciones típicas, la recta de y sobre x es simplemente zy = r · zx. Dado que r es como máximo 1, la predicción está siempre más cerca de la media que el valor de entrada.
Los padres altos tienen hijos altos, pero más cercanos a la media. Las empresas con un año espectacular tienden a continuar con uno simplemente bueno. Ninguno de los dos casos requiere una causa, y la trampa reside en que el efecto es simétrico: esos hijos también tienen padres más cercanos a la media que ellos mismos. Cualquier explicación que intente justificar el fenómeno en un sentido queda desmentida en el opuesto.
Galton lo llamó regresión a la mediocridad, y el término regresión se mantuvo para toda la técnica debido a ello.
Cuando ninguna de las dos rectas es la deseada
Ambas rectas asumen que una variable se mide sin error. Si ambas presentan ruido, como al comparar dos instrumentos de medida, ambas rectas resultan sesgadas y la respuesta se halla entre ellas.
Least-Squares Geometry concretó la imagen subyacente: el ajuste es una proyección, y la recta obtenida depende de la dirección a lo largo de la cual se proyecta. Su ajuste por defecto registra una SSE de 1,3714 con un 37,2 % correspondiente a un único punto, que es la otra propiedad que los mínimos cuadrados ejecutan de forma discreta. Elevar los errores al cuadrado significa que un solo punto distante puede pesar más que muchos cercanos.
Por lo tanto, antes de informar de una pendiente, decida para qué sirve. Predecir y a partir de x es una pregunta; estimar una relación física entre dos magnitudes con ruido es otra, y solo la primera tiene una única recta evidente.