李同学2020-08-18 20:35:40
李同学P112）1.第一种阻止overfitting的办法中，所谓的 惩罚项 到底指什么？2.单老师画的图是 用一个区间消除了“数据”的个数，讲义上说的是 消除 ”features“即自变量x的个数，我觉着这里有矛盾？咋解释？
回答（1）
Kevin2020-08-19 09:38:09
Kevin同学你好！
1.在机器学习中，我们的目标是通过使损失函数最小，达到较好地拟合的目的。但是一旦维度较高，就容易过拟合。加入惩罚项，就是原始损失函数后面跟的一坨东西，目的就是对损失函数做一个约束，缓解过拟合。新增的自变量必须使残差平方和下降的幅度超过惩罚项增加的幅度，新增的自变量才是有效的。
2.直观上的理解是消除了一部分features，因为新增的自变量必须使残差平方和下降的幅度超过惩罚项增加的幅度，新增的自变量才是有效的。所以就好像是消除了一部分features一样。
- 评论（0）
- 追问（0）
评论
0/1000
追答
0/1000
+上传图片