黄石2024-10-24 09:51:55

同学你好。这主要与Ridge regression的损失函数有关。其损失函数见下图（这个你可以直接对标到OLS中最小化的那个残差平方和，但是有一定调整）。在最小化该损失函数的过程中，我们需要额外去最小化lambda*sum(beta_i^2)，这一步使得beta系数会被“压缩”——压缩这些系数的取值才能使得lambda*sum(beta_i^2)足够的小，进而去最小化损失函数。Lambda越大、压缩的程度越高。

不过需要注意的是Ridge regression中系数虽被压缩，但取值不会为0，这与Lasso要进行区分：Lasso会把一些不太重要的变量前面的系数直接降至0。这里的原因主要在于Ridge regression是L2 regularization，而Lasso是L1 regularization：由于Ridge regression中要去额外最小化的是lambda*sum(beta_i^2)，而如果beta的取值足够小，其平方就会更小且小得多、进而实现最小化损失函数的目的；而Lasso中要去最小化的是lambda*sum|beta_i|，此时我们必须令一些beta_i = 0才能够实现最小化损失函数。