k近邻(KNN)的Python实现

K近邻算法：

复杂度：训练时间复杂度为0，如果训练集中文档总数为N特征维度为D则暴力做法分类时间复杂度为O(DN)。可以用K-D Tree或Ball-Tree优化成O(Dlog(N))。
优点：精度高、对异常值不敏感、无数据输入假定。
缺点：计算复杂度高、空间复杂度高。

K近邻算法原理：

输入一个新的没有标签的数据后，将新数据的每个特征值与训练样本集中数据的对应的特征进行比较，选择训练样本数据集中前K个最相似的数据，最后，选择K个最相似数据中出现次数最多的分类，作为新数据的分类。

k值设定：

k太小，分类结果易受噪声点影响；k太大，近邻中又可能包含太多的其它类别的点。（对距离加权，可以降低k值设定的影响）
k值通常是采用交叉检验来确定（以k=1为基准）
经验规则：k一般取3，上限为训练样本数的平方根。

kNN.py：

import numpy as np


# 使用KNN分类
def kNNClassify(newInput, dataSet, labels, k):
    numSamples = len(dataSet)

    # 计算欧拉距离
    diff = np.tile(newInput, (numSamples, 1)) - dataSet
    squaredDiff = diff ** 2
    squaredDist = np.sum(squaredDiff, axis=1)
    distance = squaredDist ** 0.5

    # 距离排序
    sortedDistIndices = np.argsort(distance)

    # 计算前k个出现的次数
    classCount = {}
    for i in range(k):
        voteLabel = labels[sortedDistIndices[i]]
        classCount[voteLabel] = classCount.get(voteLabel, 0) + 1

    # 找出最大的返回
    maxCount = 0
    for key, value in classCount.items():
        if value > maxCount:
            maxCount = value
            maxIndex = key

    return maxIndex


def main():
    # 创建数据集
    def createDataSet():
        group = [[1.0, 0.9], [1.0, 1.0], [0.1, 0.2], [0.0, 0.1]]
        labels = ['A', 'A', 'B', 'B']
        return group, labels

    dataSet, labels = createDataSet()

    testX = [1.2, 1.0]
    outputLabel = kNNClassify(testX, dataSet, labels, 3)
    print("测试数据:", testX, "被分类到: ", outputLabel)

    testX = [0.1, 0.3]
    outputLabel = kNNClassify(testX, dataSet, labels, 3)
    print("测试数据:", testX, "被分类到: ", outputLabel)

if __name__ == '__main__':
    exit(main())

输出结果：

测试数据: [1.2, 1.0] 被分类到:  A
测试数据: [0.1, 0.3] 被分类到:  B