赵同学2022-06-16 17:01:24
赵同学R4 ML 1. Q2 1）为什么入=0 无正则化？ 2） 正则化是一种什么方法？3）图二 画线句子在CART里也提到正则化，正则化也应用于此么？4） A选项在此题如何理解？5） 正则化和标准化、归一化有什么区别？ 2. Q7 为什么选C fitting curve 为什么可以引起overfitting，如何理解？
回答（1）
Essie2022-06-17 10:48:44
Essie你好，
Q2：
1.lambda是LASSO中的惩罚项，lambda等于0，说明方程没有惩罚项，LASSO和普通的回归方程就没有区别，所以相当于没有正则化。
2.正则化就是指通过对模型的预测能力不会产生实质性贡献的特征，进行惩罚来降低模型的复杂性。
3.对的，CART中也可以应用正则化。CART是分类回归树，为了避免过拟合，研究人员可以通过指定树的最大深度，最大决策节点数，或者是剪掉解释力度不显著的分支等规定，这些规定就属于正规化。
4.A选项是对回归树的剪枝，它可以用于减少模型的复杂度，简单来说就是一颗分类回归树它会有很多层级和节点，如果哪个节点，或者很下面的层级如果解释力度不高，那么就直接“剪掉“，从模型中剔除。
5.正则化简单来说就是通过减去模型中解释力度不强的地方，来降低模型的复杂程度。
标准化和归一化都属于缩放的方式，通过移动和更改数据规模来调整特征范围。标准化是对变量进行定心和缩放的过程，它有一个公式Xi(standardized) =(Xi-μ)/σ。归一化是在[0，1]范围内重新缩放变量数值，公式为：Xi(normalized) =(Xi-Xmin)/(Xmax-Xmin)。他俩的主要区别在于归一化对异常值非常敏感，因此在进行归一化之前需要对异常值进行处理。但是标准化对异常值的敏感性较低，不需要提前处理异常值。
Q7：
C选项说使用低bias error但是高variance error的模型，low bias error意味着样本内拟合较好，但high variance error意味着样本外拟合就不佳，这属于过度拟合的问题。
- 评论（0）
- 追问（3）
- 追问
-
1. Q1 ：1）正则化 入=0，LASSO= OLS，这个OLS就是您说的那没有惩罚项的，用来做线性回归的普通方程？
2）入为超参，需要被权衡是么？如图二打❓那句话
2. 图一 就是您说的那个CART 也可应用正则化，regularization criteria 和 pruned 都属于正则化？
3. Q7 C选项 ：1）fitting curve 是描述over fitting 造成的这两个错误的曲线是吧？
2）如果C表述改为：fitting curve 达到min total error 还会造成over fitting么？
另外：
4. Recall 为什么上面分子是TP呢？
5. SVM 为什么是P-1 维的超平面？
6. 1）图三中上面的PPT 我一直不太明白SVM是如何分的？
2）下面的PPT中，它为什么要all observation离判别边界最远，这样类别划的最清楚是么？
3）软边界是适合非线性么？ 且可增加复杂性？
7. voting classifier、bootstrap aggregating、random forest 都属于ensemble learning里的方法么？
8. PCA里的特征值是什么？
9. 整合功能和激活功能是在input、hidden和output layer 三个层的每个节点都有？还是仅在hidden layer？
10. activation function operates like a light dimmer switch that decrease or increas the strength of the input，是什么意思？考试如果想考的话，会怎么考？
- 追答
-
1. 1）是的。2）需要自己权衡，lambda太大，惩罚太大，模型中的参数过于少，容易发生欠拟合。lambda太小，惩罚太小，模型中的参数过多，容易发生过拟合，具体要针对情况自己balance。
2. 对的，这都属于正则化。
3.1）fitting curve是描述样本内拟合程度和样本外拟合程度的曲线，通过对fitting curve的观察，我们可以看出模型是过拟合还是欠拟合，还是准确拟合。
2）如果C的表述改为low bias error and low variance error就是个很好的模型，没有过拟合。min total error一般不会这么表述，而且虽然最小化了误差，但是其中bias error很可能还是高于variance error只是total error最小，所以不能说明一定没有过拟合。
- 追答
-
4.因为recall是查全率，其定义为正确预测的阳性分类与所有实际阳性分类的比率，相当于正确找到有病的人作为分子，分母为全部有病的人。所以分子是TP。
5.如果要用将数据分为两类，只需要一个平面。将数据分为三类，需要两个平面。同理区分n个类别，需要n-1个超平面。
6.1）图中的阴影部分就是一个超平面，将数据分为了2大类。2）是的，通过衡量这个平面距离被分类的点的距离，然后最大化最小距离，就可以做到将数据分的更清楚。3）软边界不适合非线性，适合近似线性。因为在真实世界中，许多数据集并不是完全线性可分的，我们称之为近似线性可分。它适用于更复杂的数据集。
7.是的，都属于ensemble learning。
8.特征值是每个特征向量解释的初始数据中占总方差的比例，类似R^2的感觉。
9.仅在hidden layer中存在。
10.这句话的意思是，激活函数可以理解为一个“调光开关”，减少或增加输入的强度，就像使得灯更暗或更亮，本质就是调节输入的信号强度。这描述的是神经网络中激活函数的作用，了解一下含义和概念就行，考试即使考到也不会很难。
评论
0/1000
追答
0/1000
+上传图片