knn中k的选取策略

• K值较小，则模型复杂度较高，容易发生过拟合，学习的估计误差会增大，预测结果对近邻的实例点非常敏感。
• K值较大可以减少学习的估计误差，但是学习的近似误差会增大，与输入实例较远的训练实例也会对预测起作用，使预测发生错误，k值增大模型的复杂度会下降。
• 在应用中，k值一般取一个比较小的值，通常采用交叉验证法来来选取最优的K值。

 

 KNN中的K值选取对分类的结果影响至关重要，K值选取的太小，模型太复杂。K值选取的太大，导致分类模糊。那么K值到底怎么选取呢？有人用Cross Validation，有人用贝叶斯，还有的用bootstrap。

      而距离度量又是另外一个问题，比较常用的是选用欧式距离。可是这个距离真的具有普适性吗？《模式分类》中指出欧式距离对平移是敏感的，这点严重影响了判定的结果。在此必须选用一个对已知的变换（比如平移、旋转、尺度变换等）不敏感的距离度量。书中提出了采用切空间距离（tangent distance）来替代传统的欧氏距离。

 

参考文章：

https://blog.csdn.net/liqiming100/article/details/77851226

https://blog.csdn.net/hyf_1967/article/details/53410399