小同学2020-01-30 12:59:33
小同学老师你好， 在2.1Penalized Regression中提到 要求LASSO最小，那不是什么都不加么？ 因为OLS已经是最小的了，多加一个feature都会使LASSO增大。 另外如果把“入”设成10000，但B3和B4都只有0.0001，那最后加一起LASSO也很小，所以最后X3 X4是加上去还是不加上去啊？ LASSO是减少features，可是为什么听视频的意思，只要X的系数足够小，都可以加呢？
回答（1）
Vincent2020-01-30 15:58:40
Vincent同学新年好，Lasso是要求 残差平方和和penalty term相加后最小。此时，如果惩罚项中什么都不加，b1....bn都取0, 就意味着所有自变量都对Y没有解释力度，那么此时残差是唯一的解释变量，残差平方和就会非常大。
landa系数的取值很重要，如果landa取很大，那么为了使残差平方和与penalty term相加后最小，模型可能会保留过少的自变量，此时有underfit的风险，那么如果landa取很小，惩罚力度不大，此时模型可能会保留过多的自变量，有会出现overfit的问题。你设想的landa非常非常大，有10000，而自变量系数又非常非常小，此时到底加不加就看模型运行后的该设想的结果在所有结果中是否满足残差平方和与penalty term相加后最小。
- 评论（0）
- 追问（0）
评论
0/1000
追答
0/1000
+上传图片