k-近邻算法（kNN）

最近假期，参考李航的《统计学习方法》和Peter Harrington的《机器学习实战》整理了之前学习的机器学习算法（原理+python实现），欢迎小伙伴们交流。

1.kNN原理

k近邻算法比较简单、直观，简单的说就是采用测量不同的特征值之间的距离方法进行分类，也就是给定一个训练数据集，对新的输入实列，在训练数据集中找到与该实例最相似（最邻近）的k个实列，这k个实列所属最多的类就是该输入实列的类别。

2.kNN特点

优点：精度高、对异常值不敏感、无数据输入假定。
缺点：计算复杂度高、空间复杂度高
使用范围：数值型和标称型

3.kNN实现

def classify0(inX, dataSet, labels, k):
    #获取训练样本数量
    dataSetSize = dataSet.shape[0]
    #构造输入值和训练样本的差值矩阵 
    diffMat = tile(inX, (dataSetSize,1)) - dataSet
    #计算欧式距离 
    sqDiffMat = diffMat**2
    sqDistances = sqDiffMat.sum(axis=1)
    distances = sqDistances**0.5
    #获取距离升序排序后对应的下标列表
    sortedDistIndicies = distances.argsort()    
    #统计距离最小的k个点对应的样本标签  
    classCount={}          
    for i in range(k):
        #取第i+1近邻样本对应的类别标签
        voteIlabel = labels[sortedDistIndicies[i]]
        #以标签为key，标签出现的次数为value将统计到的标签及出现次数写进字典 
        classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1
    #对字典按value从大到小排序 
    sortedClassCount = sorted(classCount.iteritems(), key=operator.itemgetter(1), reverse=True)
    #返回排序后字典中最大value对应的标签
    return sortedClassCount[0][0]