李航《统计学习方法》----KNN--例题解析+ 机器学习实战
（文章底部有代码和数据链接）
模型介绍
k近邻算法（k-nearest neighbor ,k-NN) 基本思想是：特征空间中的每个样本都可以用与它最近的K个邻居来代表。分类的过程是：k个邻居进行投票，将待预测样本归入得票最多的类别里面。
模型三要素
（1）k值的选择
（2）距离的度量方法
（3）分类决策规则
常见的距离度量方式
设两个n维向量
x1和x2之间的距离度量方式有：
1、曼哈顿距离：
2、欧氏距离：
3、切比雪夫距离：
模型优化
k近邻最简单的实现方法是线性扫描，即计算输入实例与每一个训练实例的距离，当训练集很大时，计算非常耗时，所以这种方法是不可行的。
那么如何快速找到样本点的最近邻？
搜索优化—KD树
kd树（K-dimension tree)是一种二叉树，表示对特征空间的一个划分；
构造kd’树的过程是不断的用垂直于坐标轴的超平面特征空间划分，构造一系列的矩形区域，kd树的每一个结点对应于一个k维超矩形区域。
利用kd树可以省去对大部分数据点的搜索，从而减少搜索的计算量。
课本例3.2
给定一个二维空间数据集：T={(2,3),(5,4),(9,6),(4,7),(8,1),(7,2)},构造一个平衡kd’树。
利用例3.2构造的kd树搜索（3,4.5），从根节点出发，判断3<7,属于左子树，再判断4.5>4，属于右叶子节点，计算(3,4.5)与（4,7）的距离等于2.69，初步的将该叶子节点当做最近邻点，再递归的向上回退，计算(3,4.5)与（5,4）的距离等于2.06；2.06,<2.69，将近邻点更新为（5,4）;再计算(3,4.5)与（2,3）的距离等于1.8.更新近邻点为（2,3）。此时（2,3）已经是叶子节点，往上回溯到根节点，计算(3,4.5)与（7,2）的距离大于1.8，所以不更新近邻点。现在已经是根节点了，所以我们以（3，4.5）为圆心，1.8为半径画圆，判断这个圆与（7,2）右边的点是否相交，不想交就不用计算右子树了。
KNN模型的优缺点
一、优点
- 简单且容易实现
- 比较适合多分类问题
- 对异常值不大敏感
- 无数据输入假定，无需训练。
二、缺点
- 预测精度一般，大部分问题比不上基于数的方法
- 当样本存在范围重叠时，KNN的分类精度很低
- 每次分类一个样本都要计算所有数据，在大数据环境下不适应
- 当样本数据不平衡比较严重时，分类效果比较差
KNN模型的应用场景和注意点
一、应用场景
- 比较适合数据量小且精度要求不高的数据
- 比较适合不能一次性获取训练样本的情况
二、注意点
- 特征数据归一化
- k值得选择
- 距离度量的方式
机器学习实战
例1、使用k-近邻算法分类一个电影是爱情片还是动作片。
上表就是我们已有的数据集合，也就是训练样本集。这个数据集有两个特征，即打斗镜头数和接吻镜头数。除此之外，我们也知道每个电影的所属类型，即分类标签。用肉眼粗略地观察，接吻镜头多的，是爱情片。打斗镜头多的，是动作片。以我们多年的看片经验，这个分类还算合理。如果现在给我一部电影，你告诉我这个电影打斗镜头数和接吻镜头数。不告诉我这个电影类型，我可以根据你给我的信息进行判断，这个电影是属于爱情片还是动作片。而k-近邻算法也可以像我们人一样做到这一点，不同的地方在于，我们的经验更"牛逼"，而k-邻近算法是靠已有的数据。比如，你告诉我这个电影打斗镜头数为2，接吻镜头数为102，我的经验会告诉你这个是爱情片，k-近邻算法也会告诉你这个是爱情片。你又告诉我另一个电影打斗镜头数为49，接吻镜头数为51，我"邪恶"的经验可能会告诉你，这有可能是个"爱情动作片"，画面太美，我不敢想象。 (如果说，你不知道"爱情动作片"是什么？请评论留言与我联系，我需要你这样像我一样纯洁的朋友。) 但是k-近邻算法不会告诉你这些，因为在它的眼里，电影类型只有爱情片和动作片，它会提取样本集中特征最相似数据(最邻近)的分类标签，得到的结果可能是爱情片，也可能是动作片，但绝不会是"爱情动作片"。当然，这些取决于数据集的大小以及最近邻的判断标准等因素。
表二是计算所有样本点中已知电影与未知电影的距离，按距离的递增排序，可以找到k个距离最近的电影，假如k=3，则最靠近的电影依次是电影一、电影二、电影三；这三部电影都是爱情片，所以我们判定未知类型的电影也是爱情片。
k近邻算法的一般流程：
- 计算已知类别数据集中的点与当前点之间的距离，按照距离递增次序排序；
- 选取与当前点距离最小的k个点；
- 确定前k个点所在类别的出现频率；
- 返回前k个点所出现频率最高的类别作为当前点的预测分类。
实现代码：
# -*- coding: utf-8 -*-
"""
Created on Mon Jan 13 10:14:17 2020
@author: 2010
"""
import numpy as np
import operator
"""
函数说明:创建数据集
group - 数据集
labels - 分类标签
"""
def createDataSet():
group = np.array([[3,104],[2,100],[1,81],[101,10],[99,5],[98,2]])
labels = ['爱情片','爱情片','爱情片','动作片','动作片','动作片']
return group,labels
"""
函数说明:k-近邻算法
inX - 用于分类的数据(测试集)
dataSet - 用于训练的数据(训练集)
labes - 分类标签
k - kNN算法参数,选择距离最小的k个点
返回:
sortedClassCount[0][0] - 分类结果
"""
def classify0(inX,dataSet,labels,k):
dataSetSize = dataSet.shape[0] #shape[0]表示dataSet的行数
diffMat = np.tile(inX,(dataSetSize,1)) - dataSet #在列向量方向上重复inX共1次(横向)，行向量方向上重复inX共dataSetSize次(纵向)
sqDiffMat = diffMat**2 #差的平方
sqDistances = sqDiffMat.sum(axis=1) #sum()所有元素相加，sum(0)列相加，sum(1)行相加
distances = sqDistances**0.5 #开方，计算出距离
sortedDistIndices = distances.argsort() #返回distances中元素从小到大排序后的索引值
classCount = {}
for i in range(k): #取出前k个元素的类别
voteIlabel = labels[sortedDistIndices[i]]
classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1 #dict.get(key,default=None),字典的get()方法,返回指定键的值,如果值不在字典中返回默认值。
#计算类别次数
sortedClassCount = sorted(classCount.items(),key=operator.itemgetter(1),reverse=True) #reverse降序排序字典
return sortedClassCount[0][0] #返回次数最多的类别,即所要分类的类别
if __name__ == '__main__':
#创建数据集
group, labels = createDataSet()
#测试集
test = [18,90]
#kNN分类
test_class = classify0(test, group, labels, 3)
#打印分类结果
print(test_class)
结果为：
例二：
海伦女士一直使用在线约会网站寻找适合自己的约会对象。尽管约会网站会推荐不同的任选，但她并不是喜欢每一个人。经过一番总结，她发现自己交往过的人可以进行如下分类：
-
不喜欢的人
-
魅力一般的人
-
极具魅力的人
海伦收集约会数据已经有了一段时间，她把这些数据存放在文本文件datingTestSet.txt中，每个样本数据占据一行，总共有1000行。
海伦收集的样本数据主要包含以下3种特征： -
每年获得的飞行常客里程数
-
玩视频游戏所消耗时间百分比
-
每周消费的冰淇淋公升数
数据集大致如下：
数据归一化
在计算样本2和3之间距离时：
在上述方程中，数字差值最大的属性对计算结果影响最大，也就是说，飞机里程数对于计算结果的影响会大于其他两个特征，原因仅仅是因为它的数值比较大。但是这三个特征对我们来说是同等重要的，飞机里程数不应该这么严重的影响计算结果。所以我们要对数据进行归一化处理。采用以下公式：
newvalue = （oldValue - min ）/ （max - min）
max和min分别是数据集中的最大特征值和最小特征值
完整代码如下：
# -*- coding: utf-8 -*-
"""
Created on Mon Jan 13 10:34:46 2020
@author: 2010
"""
import numpy as np
from matplotlib.font_manager import FontProperties
import matplotlib.lines as mlines
import matplotlib.pyplot as plt
import operator
"""
函数说明：将文本记录转换为Numpy的解析程序
filename：文件的名称
returnMat：特征矩阵
classLabelVector：分类Label向量
"""
def file2matrix(filename):
fr = open(filename) #打开文件
arrayOlines = fr.readlines() #读取内容
numberOflines = len(arrayOlines) #文件行数
returnMat = np.zeros((numberOflines,3)) # returnMat：numberOflines行，3列（因为有3个特征）
classLabelVector = [] #分类标签向量
index = 0 #行的索引值
for line in arrayOlines:
line = line.strip() #删除空白符(包括'\n','\r','\t',' ')
listFromLine = line.split('\t') #将字符串根据'\t'分隔符进行切片。
returnMat[index,:] = listFromLine[0:3] #数据的前三列特征值取出
#根据文本中标记的喜欢的程度进行分类,1代表不喜欢,2代表魅力一般,3代表极具魅力
if listFromLine[-1] == 'didntLike':
classLabelVector.append(1)
elif listFromLine[-1] == 'smallDoses':
classLabelVector.append(2)
elif listFromLine[-1] == 'largeDoses':
classLabelVector.append(3)
index += 1
return returnMat, classLabelVector
"""
函数说明:可视化数据
datingDataMat ： 特征矩阵
datingLabels ：分类Label
"""
def showdatas(datingDataMat, datingLabels):
#设置汉字格式
font = FontProperties(fname=r"c:\windows\fonts\simsun.ttc", size=14)
#将fig画布分隔成1行1列,不共享x轴和y轴,fig画布的大小为(13,8)
#当nrow=2,nclos=2时,代表fig画布被分为四个区域,axs[0][0]表示第一行第一个区域
fig, axs = plt.subplots(nrows=2, ncols=2,sharex=False, sharey=False, figsize=(13,8))
LabelsColors = []
for i in datingLabels:
if i == 1:
LabelsColors.append('black')
if i == 2:
LabelsColors.append('orange')
if i == 3:
LabelsColors.append('red')
#画出散点图,以datingDataMat矩阵的第一(飞行常客例程)、第二列(玩游戏)数据画散点数据,散点大小为15,透明度为0.5
axs[0][0].scatter(x=datingDataMat[:,0], y=datingDataMat[:,1], color=LabelsColors,s=15, alpha=.5)
#设置标题,x轴label,y轴label
axs0_title_text = axs[0][0].set_title(u'每年获得的飞行常客里程数与玩视频游戏所消耗时间占比',FontProperties=font)
axs0_xlabel_text = axs[0][0].set_xlabel(u'每年获得的飞行常客里程数',FontProperties=font)
axs0_ylabel_text = axs[0][0].set_ylabel(u'玩视频游戏所消耗时间占',FontProperties=font)
plt.setp(axs0_title_text, size=9, weight='bold', color='red')
plt.setp(axs0_xlabel_text, size=7, weight='bold', color='black')
plt.setp(axs0_ylabel_text, size=7, weight='bold', color='black')
#画出散点图,以datingDataMat矩阵的第一(飞行常客例程)、第三列(冰激凌)数据画散点数据,散点大小为15,透明度为0.5
axs[0][1].scatter(x=datingDataMat[:,0], y=datingDataMat[:,2], color=LabelsColors,s=15, alpha=.5)
#设置标题,x轴label,y轴label
axs1_title_text = axs[0][1].set_title(u'每年获得的飞行常客里程数与每周消费的冰激淋公升数',FontProperties=font)
axs1_xlabel_text = axs[0][1].set_xlabel(u'每年获得的飞行常客里程数',FontProperties=font)
axs1_ylabel_text = axs[0][1].set_ylabel(u'每周消费的冰激淋公升数',FontProperties=font)
plt.setp(axs1_title_text, size=9, weight='bold', color='red')
plt.setp(axs1_xlabel_text, size=7, weight='bold', color='black')
plt.setp(axs1_ylabel_text, size=7, weight='bold', color='black')
#画出散点图,以datingDataMat矩阵的第二(玩游戏)、第三列(冰激凌)数据画散点数据,散点大小为15,透明度为0.5
axs[1][0].scatter(x=datingDataMat[:,1], y=datingDataMat[:,2], color=LabelsColors,s=15, alpha=.5)
#设置标题,x轴label,y轴label
axs2_title_text = axs[1][0].set_title(u'玩视频游戏所消耗时间占比与每周消费的冰激淋公升数',FontProperties=font)
axs2_xlabel_text = axs[1][0].set_xlabel(u'玩视频游戏所消耗时间占比',FontProperties=font)
axs2_ylabel_text = axs[1][0].set_ylabel(u'每周消费的冰激淋公升数',FontProperties=font)
plt.setp(axs2_title_text, size=9, weight='bold', color='red')
plt.setp(axs2_xlabel_text, size=7, weight='bold', color='black')
plt.setp(axs2_ylabel_text, size=7, weight='bold', color='black')
#设置图例
didntLike = mlines.Line2D([], [], color='black', marker='.',
markersize=6, label='didntLike')
smallDoses = mlines.Line2D([], [], color='orange', marker='.',
markersize=6, label='smallDoses')
largeDoses = mlines.Line2D([], [], color='red', marker='.',
markersize=6, label='largeDoses')
#添加图例
axs[0][0].legend(handles=[didntLike,smallDoses,largeDoses])
axs[0][1].legend(handles=[didntLike,smallDoses,largeDoses])
axs[1][0].legend(handles=[didntLike,smallDoses,largeDoses])
#显示图片
plt.show()
"""
函数说明:对数据进行归一化
dataSet:特征矩阵
normDataSet : 归一化后的特征矩阵
ranges : 数据范围
minVals: 数据最小值
"""
def autoNorm(dataSet):
minVals = dataSet.min(0)
maxVals = dataSet.max(0)
ranges = maxVals - minVals
normDataSet = np.zeros(np.shape(dataSet))
m = dataSet.shape[0]
normDataSet = dataSet - np.tile(minVals, (m, 1))
normDataSet = normDataSet / np.tile(ranges, (m, 1))
return normDataSet, ranges, minVals
"""
函数说明:k-近邻算法
inX ： 用于分类的数据(测试集)
dataSet ： 用于训练的数据(训练集)
labes ： 分类标签
k ： kNN算法参数,选择距离最小的k个点
sortedClassCount[0][0] ： 分类结果
"""
def classify0(inX, dataSet, labels, k):
#numpy函数shape[0]返回dataSet的行数
dataSetSize = dataSet.shape[0]
#在列向量方向上重复inX共1次(横向),行向量方向上重复inX共dataSetSize次(纵向)
diffMat = np.tile(inX, (dataSetSize, 1)) - dataSet
#二维特征相减后平方
sqDiffMat = diffMat**2
#sum()所有元素相加,sum(0)列相加,sum(1)行相加
sqDistances = sqDiffMat.sum(axis=1)
#开方,计算出距离
distances = sqDistances**0.5
#返回distances中元素从小到大排序后的索引值
sortedDistIndices = distances.argsort()
#定一个记录类别次数的字典
classCount = {}
for i in range(k):
#取出前k个元素的类别
voteIlabel = labels[sortedDistIndices[i]]
#dict.get(key,default=None),字典的get()方法,返回指定键的值,如果值不在字典中返回默认值。
#计算类别次数
classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1
sortedClassCount = sorted(classCount.items(),key=operator.itemgetter(1),reverse=True)
#返回次数最多的类别,即所要分类的类别
return sortedClassCount[0][0]
if __name__=="__main__":
# filename = "datingTestSet.txt"
# #打开并处理数据
# datingDataMat, datingLabels = file2matrix(filename)
# #showdatas(datingDataMat, datingLabels)
# normDataSet, ranges, minVals = autoNorm(datingDataMat)
filename = "datingTestSet.txt"
#将返回的特征矩阵和分类向量分别存储到datingDataMat和datingLabels中
datingDataMat, datingLabels = file2matrix(filename)
showdatas(datingDataMat, datingLabels)
#取所有数据的百分之十
hoRatio = 0.10
#数据归一化,返回归一化后的矩阵,数据范围,数据最小值
normMat, ranges, minVals = autoNorm(datingDataMat)
#获得normMat的行数
m = normMat.shape[0]
#百分之十的测试数据的个数
numTestVecs = int(m * hoRatio)
#分类错误计数
errorCount = 0.0
for i in range(numTestVecs):
#前numTestVecs个数据作为测试集,后m-numTestVecs个数据作为训练集
classifierResult = classify0(normMat[i,:], normMat[numTestVecs:m,:],
datingLabels[numTestVecs:m], 4)
print("分类结果:%d\t真实类别:%d" % (classifierResult, datingLabels[i]))
if classifierResult != datingLabels[i]:
errorCount += 1.0
print("错误率:%f%%" %(errorCount/float(numTestVecs)*100))
运行结果：
数据集和代码