李同学2020-08-22 15:17:53
李同学（ML CASE Q2)C选项，记得单老师讲的是惩罚项中lambda应该设的很大（比如10000），这样才能让整体最小化的前提下，让对应的xi变的很小，才能达到减少features的目的。但C说在0和1之间所以应该和前面的说法矛盾了，所以应该不正确吧，请问怎么解释？
回答（1）
Kevin2020-08-24 09:42:54
Kevin同学你好！
单老师说的应该是基于每个参数对应了一个λi，这时候把λi设置很大时，为了使总的损失函数最小，那么相应的xi会接近于0，此时相当于减少了features。
但是，我们一般都是把λ写在外面，即为总体的λ。这时候一般λ不会是一个比较大的数值，如果λ比较大，那么所有的xi都会接近于0，模型此时基本是underfitting的状态。
- 评论（0）
- 追问（5）
- 追问
-
可否按您的逻辑讲讲这道题是怎么选出答案的？结合lambda的公式？
- 追答
-
同学你好！
这道题问的是哪个方法最不恰当。当features较多时，我们就倾向于减少features个数，避免过拟合。CART中可以通过剪枝，或者损失函数中引入惩罚项λ。但λ为0时，没有减少任何features的可能，所以这个最不恰当。λ只要不为0，就有可能使得部分xi接近于0，起到了减少features的可能。
- 追问
-
老师这块选出来没问题了，但是我还得较一下真。1.我觉得lambda大小无所谓，因为只要lambda是个数（不是0），那么让整体最小，lambda对应的后边那块就得最小，那么b就会很小，那对应的x就发挥不了什么作用，也就是起到了惩罚项的作用？所以有数就好，所以选B?理解对否？2.lanmda放在里外的问题是我之前问过的，我又想了一下，其实里外无所谓，因为公式里是加总到k，不是加总到n，所以lanmda即使在外边也是针对他想挑出来的lanmda而不是所有的lanmda，不知道理解对否？
- 追问
-
P116页 讲义
- 追答
-
同学你好！
1.λ的取值是比较考验技巧的，并不是任何数都可以。我们的目标是使得损失函数最小。λ后面的那串，只是损失函数的一部分，在λ很大时，所有的xi都接近于0，此时模型较大可能是underfit，此时损失函数不一定是最小的；λ很小，可能过拟合，但由于有λ的存在，总的损失函数也不一定最小。所以实践中，我们都是通过程序确定λ，并不是任何数都可以。λ如果很小，不一定会减少features的个数，只是有这种倾向。
2.里外是有差别的。外面时λ是总体的，只有一个。λi对应不同的bi可能不同，比如λ2=1000000，就是惩罚b2，此时如果其他λi很小，那么只是消除b2这个feature。在外面λ=10000，就是消除所有的features。
评论
0/1000
追答
0/1000
+上传图片