黄石2025-05-06 13:04:53

同学你好。这里考察的是regularization（正则化）的方法。这类方法是用于“降维”的，比方说回归模型中变量可能过多了，我们需要一些方法去降低模型的复杂程度、进而规避过拟合的情形。这些方法主要有三种：
1. Ridge（岭回归）。在跑回归的时候，该方法在普通最小二乘法最小化的目标函数的基础上额外引入了一项（见图1），这一项的引入使得在做最小化的时候我们也会顾及到beta系数的取值，针对绝对值较高的斜率系数进行惩罚。岭回归又被称作L2正则化（因为引入的一项中包含的都是β的平方）。L2正则化倾向于“缩小“模型的参数，使得这些参数接近（但不等于）零。λ（模型中的超参数）越大，回归系数绝对值缩小的程度越大。
2. LASSO。LASSO最小化的目标函数见图2。与岭回归不同的是，LASSO引入的这一项采用的是绝对值形式而非平方形式。LASSO 又被称作 L1 正则化。L1 正则化将一些不太重要的参数估计设为零。因此，LASSO 也被称作特征选择技术（feature selection technique），因为一些不太重要的特征会被LASSO移除。λ越大，越多的回归系数会降至零。
3. Elastic net。这个就是Ridge和LASSO的合体（也就是C选项说的A hybrid of the Ridge regression and LASSO），目标函数见图3，简单了解一下有这么个方法就可以。