关于KNN（K-nearest neighbor） K-近邻算法

KNN算法的内容是：通过计算不同样本之间的距离进行分类。

然后它的分类依据是：对新样本，当与特征空间中有K个最相似（最邻近）的已知样本那么就划分为一类，然后这个新的样本就归属为这一类。

前面我们说过KNN是通过计算不同样本之间的距离进行分类，那这个距离就是我们生活中经常提及的两点之间的距离 $D=\sqrt{(x-x_0{)}^2+(y-y_0{)}^2}$。

KNN算法的具体实现步骤是：

1. 计算新样本与每一个已知样本的距离，对这些距离进行从小到大排序（最近邻）；
2. 选取最前面的K个最小距离进行分析，我们可以统计在这K个最小距离中每一个种类出现的概率，我们就把新样本划分为其中最大发生概率的种类。