黄石2023-11-08 11:14:54

同学你好。这里的K应与模型的复杂程度联系起来。值得注意的是， 在KNN中，K越小代表着模型越复杂。回顾一下KNN的定义：对于一个不在训练集中的观测值，KNN使用训练集中最接近目标观测值的K个观测值来对其进行预测。对于较小的K，取一个极端例子：K=1，这时只根据单个近邻进行预测，如果离目标点最近的一个点是噪声，就会出错，此时模型复杂度高，稳健性低。换句话说，此时数据集中所有的数据点都会影响我们的决策，这带来了额外的复杂性。对于较大的K，模型则复杂性低。

接下来看课件上写的内容：K过大 -> 模型复杂性低 -> 容易导致欠拟合，即high bias & low variance；K过小 -> 模型复杂性高 -> 容易导致过拟合，即low bias & high variance。这个稍微理解一下就可以了。加油~