El lazo realiza el encogimiento para que haya "esquinas" en la restricción, que en dos dimensiones corresponde a un diamante. Si la suma de cuadrados "golpea" una de estas esquinas, entonces el coeficiente correspondiente al eje se reduce a cero. … Por lo tanto, el lazo realiza la contracción y (efectivamente) la selección de subconjuntos.
¿Por qué el lazo da coeficientes cero?
El lazo realiza el encogimiento para que haya "esquinas" en la restricción, que en dos dimensiones corresponde a un diamante. Si la suma de cuadrados "golpea" una de estas esquinas, entonces el coeficiente correspondiente al eje se reduce a cero.
¿Por qué Lasso se reduce a cero pero no a Ridge?
Se dice que debido a que la forma de la restricción en LASSO es un diamante, la solución de mínimos cuadrados obtenida podría tocar la esquina del diamante de modo que conduzca a una contracción de alguna variable. Sin embargo, en la regresión de cresta, debido a que es un círculo, a menudo no tocará el eje
¿Por qué la regresión de cresta reduce los coeficientes?
Regresión de cresta reduce todos los coeficientes de regresión hacia cero; el lazo tiende a dar un conjunto de coeficientes de regresión cero y conduce a una solución escasa. Tenga en cuenta que tanto para la regresión de la cresta como para el lazo, los coeficientes de regresión pueden pasar de valores positivos a negativos a medida que se reducen a cero.
¿Están sesgados los coeficientes de lazo?
…la contracción del lazo hace que las estimaciones de los coeficientes distintos de cero estén sesgadas hacia cero y, en general, no son consistentes [Nota añadida: Esto significa que, como el tamaño de la muestra crece, las estimaciones de los coeficientes no convergen].
