K最近邻算法

K最近邻（K-Nearest-Neighbour,KNN）算法是机器学习里简单易掌握的一个算法。通过你的邻居判断你的类型，“近朱者赤，近墨者黑”表达了K近邻的算法思想。

 

一．算法描述：

 

1.1 KNN算法的原理

 

KNN算法的前提是存在一个样本的数据集，每一个样本都有自己的标签，表明自己的类型。现在有一个新的未知的数据，需要判断它的类型。那么通过计算新未知数据与已有的数据集中每一个样本的距离，然后按照从近到远排序。取前K个最近距离的样本，来判断新数据的类型。

通过两个例子来说明KNN算法的原理

（1）下图中，绿色圆要被决定赋予哪个类，是红色三角形还是蓝色四方形？如果K=3，由于红色三角形所占比例为2/3，绿色圆将被赋予红色三角形那个类，如果K=5，由于蓝色四方形比例为3/5，因此绿色圆被赋予蓝色四方形类。

从该图中可以看出K值的选取对类别的判断具有较大的影响，K的选择目前没有很好的办法，经验规则K值一般低于训练样本的开平方。

（2）有六部已知类型的电影，有人统计了电影场景中打斗次数和接吻次数，如下表。最后一行表示有一部新的电影，统计了其中打斗和接吻的次数，那么如何判断这部电影是爱情片还是动作片。

电影名称	打斗次数	接吻次数	电影类型
California Man	3	104	Romance
He’s Not Really into Dudes	2	100	Romance
Beautiful Woman	1	81	Romance
Kevin Longblade	101	10	Action
Robo Slayer 3000	99	5	Action
Amped II	98	2	Action
未知	18	90	Unknown

 

 

将打斗次数和接吻次数分别作为x,y轴，得到下图

？表示未知电影的未知，然后计算该位置到其他点的距离，假定K=3，可知，距离最近都是爱情片，因此判定该电影也是爱情片。

 

1.2 KNN算法的优缺点

 

该算法在分类时有个主要的不足是，当样本不平衡时，如一个类的样本容量很大，而其他类样本容量很小时，有可能导致当输入一个新样本时，该样本的K个邻居中大容量类的样本占多数。因此可以采用权值的方法（和该样本距离小的邻居权值大）来改进。

该方法的另一个不足之处是计算量较大，因为对每一个待分类的文本都要计算它到全体已知样本的距离，才能求得它的K个最近邻点。目前常用的解决方法是事先对已知样本点进行剪辑，事先去除对分类作用不大的样本。该算法比较适用于样本容量比较大的类域的自动分类，而那些样本容量较小的类域采用这种算法比较容易产生误分。

 

1.3 算法执行步骤：

（1）生成向量位置

（2）计算样本集到新数据的距离

（3）对样本集按距离进行排序

（4）根据K选取样本，判定类型

 

二．Python实现

 

1.简单实现

 

创建数据集并实现knn算法

#knn agorithm***

#2014-1-28   ***



from numpy import 

import operator



def createDataSet():

    group=array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]])

    labels=['A','A','B','B']

    return group,labels



def classify0(inX,dataSet,labels,k):

    dataSetSize=dataSet.shape[0]

    diffMat=tile(inX,(dataSetSize,1))-dataSet

    ddMat=diffMat**2

    dsumMat=sum(ddMat,axis=1)

    deqrMat=dsumMat**0.5

    sortMat=deqrMat.argsort()

    dic={}

    for i in range(k):

        lab=labels[sortMat[i]]

        dic[lab]=dic.get(lab,0)+1

    maxlabelcout=sorted(dic.iteritems(),key=operator.itemgetter(1),reverse=True)

    return maxlabelcout[0][0]    

 

 

对测试数据进行类型判断

#knn               *********

#run the knn1 with [0,0]****

#2014-1-28         *********

#zhen              *********



import knn1



group,labels=knn1.createDataSet()

print group

print labels

g=knn1.classify0([0,0],group,labels,3)

print g

 

 

2.实际应用-约会网站

###knn agorithm

###2014-1-28   



from numpy import *

import operator



#knn 

def classify0(inX,dataSet,labels,k):

    dataSetSize=dataSet.shape[0]

    diffMat=tile(inX,(dataSetSize,1))-dataSet

    ddMat=diffMat**2

    dsumMat=sum(ddMat,axis=1)

    deqrMat=dsumMat**0.5

    sortMat=deqrMat.argsort()

    dic={}

    for i in range(k):

        lab=labels[sortMat[i]]

        dic[lab]=dic.get(lab,0)+1

    maxlabelcout=sorted(dic.iteritems(),key=operator.itemgetter(1),reverse=True)

    return maxlabelcout[0][0]    



def fileopen(filename):

    f=open(filename)

    flines=f.readlines()

    fsize=len(flines)

    index=0

    mat=zeros((fsize,3))

    labels=[]

    for line in flines:

        line=line.strip()

        list=line.split('\t')

        mat[index,:]=list[0:3]

        labels.append(int(list[-1]))

        index+=1

    return mat,labels



def autonorm(Dataset):

    dmin=Dataset.min(0)

    dmax=Dataset.max(0)

    ranges=dmax-dmin

    datanorm=zeros(shape(Dataset))

    m=Dataset.shape[0]

    datanorm=Dataset-tile(dmin,(m,1))

    datanorm=datanorm/tile(ranges,(m,1))

    return datanorm,ranges,dmin



def classTest():

    hoRatio=0.1

    mat,lables=fileopen('datingTestSet2.txt')

    dataNorm,ranges,dmin=autonorm(mat)

    m=mat.shape[0]

    numTest=int(m*hoRatio)

    errorCount=0.0

    for i in range(numTest):

        lablesTest=classify0(dataNorm[i,:],dataNorm[numTest:m,:],\

            lables[numTest:m],3)

        if (lablesTest!=lables[i]):

            errorCount+=1.0

        print "the classifier came back with:%d,the real answer is:%d"\

            %(lablesTest,lables[i])

    print "the total error rate is: %f" % (errorCount/numTest)



def classifyperson():

    resultTypeList=['not at all','in small doses','in large doses']

    percentGame=float(raw_input(\

        "percentage of time spent playing video games?"))

    miles=float(raw_input("miles earned per year?"))

    iceCream=float(raw_input("liters of ice cream per year?"))

    mat,lables=fileopen('datingTestSet2.txt')

    dataNorm,ranges,dmin=autonorm(mat)

    arr=array([miles,percentGame,iceCream])

    result=classify0((arr-dmin)/ranges,dataNorm,lables,3)

    print "You will probably like this person: ",\

        resultTypeList[result-1]

 

 

3.手写识别