python kNN分类算法代码示例

对未知类别属性的数据集中的每个点依次执行以下操作：
1）计算已知类别数据集中的点与当前点之间的距离（欧式距离、曼哈顿距离或者余弦夹角等各种距离算法，具体情况具体分析用哪种）；
2）按照距离递增次序排序；
3）选取与当前点距离最小的k个点；
4）确定前k个点所在类别的出现频率；
5）返回前k个点出现频率最高的类别作为当前点的预测分类。（摘自机器学习实战）

def classify0(inX, dataSet, labels, k):
    #inX为需要分类的输入向量，dataSet为已有的分类的数据集，labels为数据集对应的分类情况，k为最近邻近的点的个数
    # dataSet为二维数组，shape[0]指的是第一维的长度，即有多少条数据
    dataSetSize = dataSet.shape[0]
    # 将inX列表，复制自身，变成与数据集长度相同的二维数组。后续三步均为求解，inX与每个一维数组的距离
    diffMat = tile(inX, (dataSetSize,1)) - dataSet
    sqDiffMat = diffMat**2
    sqDistances = sqDiffMat.sum(axis=1)
    distances = sqDistances**0.5
    # 排序算法 得到的列表 为从小到大的原数组的索引值 即sortedDisIndicies[0]为最小值（距inX最小的距离值）
    sortedDistIndicies = distances.argsort() 
    # 创建字典，与inX k邻近的点中，分类情况的计数，并排序找到最大值
    classCount={}          
    for i in range(k):
        voteIlabel = labels[sortedDistIndicies[i]]
        # get(a,0) 0为默认值，即不存在键时，值的默认值
        classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1
    x = classCount.items()
    # key 指的是按照第二个域排序，即计数的排序 reverse = True 逆序
    sortedClassCount = sorted(x, key=operator.itemgetter(1), reverse=True)
    # 找到与输入向量距离最近的k个数据中，分类个数最多的分类
    return sortedClassCount[0][0]