机器学习实战：KNN算法讲解
机器学习实战：KNN算法讲解
KNN算法本章内容来至于《统计学习与方法》李航,《机器学习》周志华,以及《机器学习实战》Peter HarringTon,相互学习,不足之处请大家多多指教
1.1 KNN算法的优缺点
1.2 KNN算法的工作机制
1.3 KNN算法的python实现
1.4 我对KNN算法的理解
1.1 KNN算法的优缺点
优点：KNN算法是分类数据最简单的算法，具有精度高，对异常值不明显，无数据输入假定的特点。
缺点：KNN算法必须保存全部的数据，如果训练的数据集比较大，必须使用大量的存储空间，而且对每个数据距离计算，可能会比较耗时，KNN算法的另一个缺陷是无法给出任何数据的基础结构信息，无法知道实例样本和典型样本具有什么特征。
1.2 KNN算法的工作机制
【1】KNN算法：给定测试样本,基于某种距离度量找到训练集中最靠近的K个训练样本,然后基于这K个邻居的信息来进行预测,通常在分类任务重可以使用“投票法”,即选择这K个样本中出现最多的类别标记作为预测结果,在回归任务中可以使用平均分，将k个样本的实值输出标记的平均值作为预测值,或者是积极与距离远近进行加权平均或者加权投票,距离越近的样本权重越大。-----周志华 《机器学习P225页》
输入：训练数据T = {(x1,y1),(x2,y2),(x3,y3),(x4,y4),……(xn,yn)},
实例的类别y={c1,c2,c3……,cn},以及实例向量x。
输出：实例x所属的类别y。
算法过程：
(1)根据给定的距离度量，在训练集T中找出与实例x最近的K个点，涵盖这k个点的x的领域记为Nk(x)
(2)在Nk(x)中，根据分类决策规则，如多数表决，决定x的类别
(3)K近邻算法的特殊情况是K=1的情况，称为最近邻算法，对于输入的实例点，最近邻算法将训练数据集中与x最近点的类作为x的类
【2】距离度量包括LP距离,欧氏距离,曼哈顿距离，《统计学习与方法》
其中xi,xj的LP距离定义为：
当P=2时候，称为欧氏距离：
当P= 1时候，称为曼哈顿距离：
当P=无穷大时候，他是坐标的最大值：
【3】关于K值的选择对KNN算法的影响
如果选择较小的K值，就相当于用较小的领域中的训练实例进行预测，学习的近似误差会减小，只有输入实力和相似点的训练实例较近时候，才会对预测起结果，但学习的误差估计会增大，预测结果对对近邻的实例点非常敏感，如果近邻是噪声点就会出错，换句话说K值变小，会使得整体模型变得复杂，容易发生过拟合。
如果K值比较大，就相当于用较大的领域中的训练实例进行预测，其优点是会减少学习的估计误差，但是缺点是学习的近似误差会增大，这时候与输入实例较远的点也会对训练实例起预测作用，使得预测发生错误，K值的增大会使得整个模型变得更加简单。
在训练过程中，K值通常比较小，通常采用交叉验证法来选取合适的K值
1.3 KNN算法的python实现
参照机器学习实战的例子，使用KNN算法改进约会网站的配对效果
#!/usr/bin/python
#-*- encoding:utf-8 -*-
from numpy import *
import numpy as np
import operator
import matplotlib as mpl
import matplotlib.pyplot as plt
#添加Linux黑体字库，避免matplotlib显示中文乱码
mpl.rcParams['font.sans-serif'] = [u'SimHei']
mpl.rcParams['axes.unicode_minus'] = False
def createDataSet():
#训练的数据T
group = array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]])
#分类的标签label
labels = ['A','A','B','B']
return group,labels
def classify0(inx,dataSet,labels,k):
dataSetSize = dataSet.shape[0]
print dataSet
diffMat = tile(inx,(dataSetSize,1)) - dataSet
print diffMat
sqDiffMat = diffMat **2
sqDistances = sqDiffMat.sum(axis=1)
print 'sqDistances =',sqDistances
distances = sqDistances**0.5
sortedDistIndicies = distances.argsort()
classCount = {}
for i in range(k):
voteIlabel = labels[sortedDistIndicies[i]]
classCount[voteIlabel] = classCount.get(voteIlabel,0)+1
sortedClassCount = sorted(classCount.iteritems(),key = operator.itemgetter(1),reverse = True)
return sortedClassCount[0][0]
#从文本数据中获得数据
def file2matrix(filename):
fr = open(filename)
arrayOlines = fr.readlines();
numberOfLines = len(arrayOlines)
returnMat = zeros((numberOfLines,3))
classLabelVector = []
index = 0
for line in arrayOlines:
line = line.strip()
listFromLine = line.split('\t')
returnMat[index,:]=listFromLine[0:3]
classLabelVector.append(int(listFromLine[-1]))
index +=1
return returnMat,classLabelVector
#归一化空间
def autoNorm(dataSet):
minVals = dataSet.min(0)
maxVals = dataSet.max(0)
ranges = maxVals -minVals
normDataSet = zeros(shape(dataSet))
m = dataSet.shape[0]
normDataSet = dataSet-tile(minVals,(m,1))
normDataSet = normDataSet/tile(ranges,(m,1))
return normDataSet,ranges,minVals
def datingClassTest():
hoRatio = 0.10
datingDataMat,datingLabels = file2matrix('datingTestSet.txt')
normMat,ranges,minVals = autoNorm(datingDataMat)
m=normMat.shape[0]
numTestVecs = int(m*hoRatio)
errorCount = 0.0
for i in range(numTestVecs):
classifierResult = classify0(normMat[i,:],normMat[numTestVecs:m,:],datingLabels[numTestVecs:m],3)
print 'the classifier came back with: %d ,the real answer is :%d'%(classifierResult,datingLabels[i])
if(classifierResult!= datingLabels[i]):errorCount+=1.0
print "the total error rate is :%f"%(errorCount/float(numTestVecs))
if __name__ == "__main__":
# datingClassTest()
group,labels = createDataSet();
datingDataMat,datingLabels = file2matrix('datingTestSet2.txt')
fig =plt.figure(facecolor='w')
ax = fig.add_subplot(111)
ax.scatter(datingDataMat[:,1],datingDataMat[:,2],15.0*array(datingLabels),15.0*array(datingLabels))
plt.xlabel(u"玩游戏所耗时间百分比",fontsize=14)
plt.ylabel(u"每周消耗的冰淇淋公斤升数",fontsize=14)
plt.title(u"约会网站KNN算法预测")
plt.show()实验的结果：
代码技巧
1：归一化特征
2：使用多通道颜色显示不同的类别
代码调试过程中出现的bug
代码下载：