k--最近邻算法（KNN）

目录

一、简介

二、举例理解

三、算法步骤 

 四、其他说明

1、关于距离的计算

2、超参数

3、关于K值的选择

4、取K值的方法

5、关于决策依据

6、优缺点

五、代码

---

一、简介

邻近算法（KNN）是数据挖掘分类技术最简单的方法之一，所谓K最近邻，就是K个最近的邻居的意思，说的是每个样本都可以用它最接近的K个临近值来代表。

如果一个样本在特征空间中的K个最相邻的样本中大多数属于某一个类别，则该样本也属于这个类别，并具有这个类别上样本的特性。该方法在确定分类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。KNN方法在类别决策时，只与极少量的相邻样本有关。由于KNN算法主要靠周围有限的邻近的样本，而不是靠判别类域的方法来判断所属类别的，因此对于类域的交叉，或重合较多的样本集来说，KNN方法较其他方法更加适合。

二、举例理解

我们需要确定绿点属于哪个颜色（蓝色或者红色），要做的就是选出距离目标点距离最近的k个点，看这k个点的大多数颜色是什么颜色。以绿点为圆心做圆，可以直观地看到其他样本与其目标点距离大小的排序，当k取3的时候，我们可以看出距离最近的三个，分别是红色，红色，蓝色，因此得到目标点为红色；但当k取5时，我们可以看出距离最近的五个，分别是红色，红色，蓝色，蓝色，蓝色，所以得到的目标点为蓝色，因此我们可以知道k的取值不同，得到的结果也是不同的。

                                

三、算法步骤 

1、计算测试数据与各个训练数据之间的距离

2、按照距离的递增顺序进行排序

3、选取距离最小的K个点

4、确定前K个点所在类别的出现频率

5、返回前K个点中出现频率最高的类别（决策依据方法之一）作为预测数据的分类

 四、其他说明

1、关于距离的计算

1、闵可夫斯基距离

2、欧几里得距离（其实相当于购股定理）

3、曼哈顿距离

4、切比雪夫距离

5、马氏距离

6、余弦相似度

7、皮尔逊相关系数

8、汉明距离

9、杰卡德相似系数

10、编辑距离

11、DTW距离

12、KL散度

2、超参数

在机器学习的上下文中，超参数是在开始学习过程之前设置值的参数，而不是通过训练得到的参数数据。通常情况下，需要对超参数进行优化，给学习机选择一组最优超参数，以提高学习的效能和效果。

3、关于K值的选择

K称为邻近数，即在预测目标点时取几个邻近的点来预测。

K值的选取非常重要：

1、如果K值选取过小时，一些有噪声的成分存在就会对预测产生比较大的影响，例如K值取1时，一旦最近一个点是噪声，那么就会出现偏差，K值的减少就意味着整体模型变得复杂，容易发生过拟合；

2、如果K值取得过大时，就相当于用较大邻域中的训练实例进行预测，学习的近似误差会增大。这时与输入目标点较远实例也会对预测起作用，使预测发生错误。K值增大就意味着模型变得简单，也就是容易发生欠拟合。

3、如果K=N时，那么就是取全部的实例，即为取实例中某分类下最多的点，就对预测没有什么实际意义了。

4、取K值的方法

1、从K=1开始，使用检验集估计分类器的误差率。重复该过程，每次K增值1，允许增加一个近邻，选取产生最小误差的K。

2、一般K的取值不超过20，上限是n的平方，随着数据集的增大，K的值也要增大。

3、K的取值尽量选取奇数以保证在计算结果最后会产生一个较多的类别，如果取偶数可能会产生相等的情况，不利于预测。

5、关于决策依据

最常用的决策规则是：

1、多数表决法（更加常用）：多数表决法类似于一个投票的过程，也就是在K个邻居中选择类别最多的种类作为测试样本的类别。

2、加权表决法：根据距离的远近，对近邻的投票进行加权，距离越近，加权越大。通过权重计算结果最大值的类为测试样本的类别。

6、优缺点

优点:

1、简单好用，容易理解。精度高，理论成熟，既可以用来分类也可以用来回归。

2、可用于数值型数据和离散型数据。

3、训练时间复杂度为o(n)，无数据输入假定。

4、对异常值不敏感。

缺点：

1、计算复杂度高，时间复杂度高。

2、样本不平衡问题（有些样本数量很多，而其他样本数量很少）

3、一般数值很大的时候不用这个，计算量太大，但是单个样本数量又不能太少，否则容易发生误分。

4、无法给出数据内在含义

五、代码

#引库
import numpy as np
import matplotlib.pyplot as plt
from math import sqrt
%matplotlib inline
#原始数据
data=[[1,0.9],[1,1],[0.1,0.2],[0,0.1]]
labels=['A','A','B','B']
test_data=[[0.1,0.3]]
#绘制原始数据散点图
print("------------------------数据准备----------------------")
print("原始数据图像绘制...")
for i in range(len(data)):
    plt.scatter(data[i][0],data[i][1],color='b')
plt.scatter(test_data[0][0],test_data[0][1],color='r')
plt.show()
#测试数据x=(0.1,0.3)
#采用欧氏距离进行计算
print("------------------------距离计算----------------------")
x=[[0.1,0.3]]
distance=[]
labels_vz=[]
for i in range(len(data)):
    d=0
    d=sqrt((x[0][0]-data[i][0])**2+(x[0][1]-data[i][1])**2)
    distance.append(d)
    labels_vz.append(i)
print("计算的距离为：\n",distance)
print("现在对应的标签位置为：\n",labels_vz)
#按照升序排序，并取距离最小的前3个
print("-----------------------距离排序-----------------------")
for i in range(len(data)-1):
    for j in range(i+1,len(data)):
        if distance[i]>distance[j]:
            distance[i],distance[j]= distance[j],distance[i]
            labels_vz[i],labels_vz[j]= labels_vz[j],labels_vz[i]
print("排序后的距离为：\n",labels_vz)
print("取距离最近的3个值：",distance[0:3])
#进行投票表决
print("-----------------------表决投票-----------------------")
A=0
B=0
for i in range(len(labels_vz[0:3])):
    if labels[labels_vz[i]]=='A':
        A+=1
    else:
        B+=1
print("投票为A的数量为：",A)
print("投票为B的数量为：",B)
print("\n对照初始图中红色点（测试点）与前两个标签为A的离的最近，所以我们的计算与图中所呈现的绘图一致")