k-近邻算法代码细节

 

k-邻近算法概述:

k-邻近算法采用测量不同特征值之间的距离方法进行分类

优点： 精度高、对异常值不敏感、无数据输入假定

缺点：计算复杂度高、空间复杂度高

使用数据范围：数值型和标称型

工作原理：存在一个样本数据集合（也称作训练样本集），并且样本集中每个数据都存在标签，即我们知道样本集中每一数据与所属的对应关系。输入没有标签的新数据后，将新数据的每个特征与样本集中数据对应的特征进行比较，然后算法提取样本集中特征最相似数据（最邻近）的分类标签。一般来说，选取样本数据集中前k个最相似的数据，这就是k-近邻算法中k的出处，通常k是不大于20的整数。最后，选择k个最相似数据中出现次数最多的分类，作为新数据的分类。

机器学习实战之k-近邻(KNN)算法（代码）详解

KNN算法一般流程

       (1)收集数据：可以使用任何方法
       (2)准备数据：距离计算所需要的数值，最好是结构化数据格式
       (3)分析数据：可以使用任何方法
       (4)训练算法：此步骤不适合KNN
       (5)测试算法：计算错误率
       (6)使用算法：首先需要输入样本数据和结构化的输出结果，然后运行KNN判定输入数据分别属于哪个分类，最后应用对计算出的分类执行后续的处理。
 

算法的一般操作

对未知类别属性的数据集中的每个点一次执行以下操作：

1. 计算已知类别数据集中的点与当前点之间的距离；
2. 按照距离递增次序排序；
3. 选取与当前点距离最小的k个点
4. 确定前K个点所在的类别的出现频率
5. 返回前K个点出现频率最高的类别作为当前点的预测分类

创建数据集

from numpy import *
import operator
def createDataset():
    group = array([[1.0, 1.1], [1.0, 1.0], [0, 0], [0, 0.1]])
    labels = ['A', 'A', 'B', 'B']
    return group, labels

 

KNN算法

# 输入向量inX
# 训练样本集dataSet
# 标签向量数组labels
def classify0(inX, dataSet, labels, k):
    # dataSet.shape[0]是dataSet第一维的数目--数据集中数据的个数 这里为4
    dataSetSize = dataSet.shape[0] # shape[0] 计算矩阵的行数，shape[1]计算矩阵的列数
    # 要分类的新数据与原始数据做差
    diffMat = tile(inX, (dataSetSize, 1)) - dataSet # 数组inX以dataSetSize行1列重复
    # 求差的平方
    sqDiffMat = diffMat ** 2 # **是指次方， diffMat**2 为diffMat的平方, 比如[1, 2]**2 = [1, 4]
    # 求差的平方的和
    sqDistance = sqDiffMat.sum(axis=1) # sqDiffMat.sum(axis=1) 指array中每行元素的和，这些和再组成一个array
    # 求标准差
    distances = sqDistance ** 0.5
    # 距离排序
    sortDistIndicies = distances.argsort() # argsort()函数是将x中的元素从小到大排列，提取其对应的index(索引)，然后输出到y。例如：x[3]=-1最小，所以y[0]=3,x[5]=9最大，所以y[5]=5。
    # 定义元字典
    classCount = {}
    # 遍历前k个元素
    for i in range(k):
        # 获得前k个元素的标签
        voteIlabel = labels[sortDistIndicies[i]]
        # 计算前k个数据标签出现的次数
        classCount[voteIlabel] = classCount.get(voteIlabel, 0) + 1
        # 对得到的标签字典按降序排列
    sortedClassCount = sorted(classCount.items(), key=operator.itemgetter(1), reverse=True)
    # 返回出现次数最多的标签
    return sortedClassCount[0][0]

代码注解：

【1】shape[0] 计算矩阵的行数，shape[1]计算矩阵的列数

【2】tile 数组inX以dataSetSize行1列重复，例如：intX 为[0, 0]，则tile计算后

          [0, 0]

          [0, 0]

          [0, 0]

          [0, 0]  

           .....   dataSetSize行

【3】** 是指次方， diffMat**2 为diffMat的平方, 比如[1, 2]**2 = [1, 4]

【4】sqDiffMat.sum(axis=1) 指array中每行元素的和，这些和再组成一个array：

　　例如： >>>a = array([[1, 2], [2, 4]])

   　　　　>>>s = a.sum(axis=1)

   　　　　>>>s

   　　　　array([3, 6]) 

   　　　　>>>a = array([[1, 2, 3], [2, 3, 4]])

   　　　　>>>s = a.sum(axis=1)

   　　　　>>>s

   　　　　array([6, 9])

　　但是如果array只有一行，例如array([1, 2]), 则不能用sum(axis=1),只能用sum()

【5】classCount = {}新建一个dict， dict提供的get方法，如果key不存在，可以返回None，或者自己指定的value，这里classCount.get(voteIlabel, 0)是指不存在相对应key值的value则返回0

　　例如： 　　>>> d = {'Michael': 95, 'Bob': 75, 'Tracy': 85}

　　　　　　　 >>> d['Michael']

　　　　　　　95

　　　　　　　>>> d['Thomas']

　　　　　　　Traceback (most recent call last):

　　　　　　　　　File "", line 1, in 

　　　　　　　KeyError: 'Thomas'

　　要避免key不存在的错误，有两种办法，一是通过in判断key是否存在：

　　　　　　>>> 'Thomas' in d

　　　　　　False

　　二是通过dict提供的get方法，如果key不存在，可以返回None，或者自己指定的value：

　　　　　　>>> d.get('Thomas')

　　　　　　>>> d.get('Thomas', -1)

　　　　　　-1

【6】for i inrange(k): #for循环，来找出上面欧式距离中最小的k个距离。

【7】  voteIlabel = labels[sortedDistIndicies[i]] #第一次循环中，sortedDistIndicies[0]的数字代表欧氏距离数组distances中最小的数的索引值，labels[sortedDistIndicies[i]]就是这个最小距离的样本数据对应的标签，labels是原数据集标签数组，故就得到了最小的欧式距离对应的标签voteIlabel。

  【8】classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1#由于classCount 是字典，classCount[“火车”] = “车”，这个语句代表给字典添加键值对，即{“火车”：“车”}，这里就是计算每个标签出现的次数，如果classCount中之前没有这个标签，给这个标签一次，如果classCount中之前有这个标签，就将对应的值加上1。这样，最终就得到这样形式的classCount = {“A”:2,”B”:3,”C”:5},ABC分别在最小的10个中占据2个，3个，5个。

   【9】sortedClassCount = sorted(classCount.iteritems(),key=operator.itemgetter(1), reverse=True) #这里是将字典中的键值对按照值的大小降序排列。sort()函数，对迭代类型进行排序。classCount.iteritems()，将字典classCount的键值对转化为元祖，存放在列表中。key=operator.itemgetter(1)，按照迭代类型的第n个元素进行排序。True降序排列。

【10】returnsortedClassCount[0][0] #取列表sortedClassCount第0个对象中的第0个对象。

【11】sorted() 按classCount字典的第2个元素（即类别出现的次数）从大到小排序

 

python shell截图:

全部代码如下:

from numpy import * # 或 import numpy as np
import operator


# 创建数据集，并返回数据集和分类标签
def createDataSet():
    group = array([[1.0, 1.1], [1.0, 1.0], [0, 0], [0, 0.1]])
    labels = ['A', 'A', 'B', 'B']
    return group, labels

# 输入样本inX
# 训练样本集dataSet
# 标签向量数组labels
# KNN算法分类器
def classify0(inX, dataSet, labels, k):
    # dataSet.shape[0]是dataSet第一维的数目--数据集中数据的个数 这里为4
    dataSetSize = dataSet.shape[0] # shape[0] 计算矩阵的行数，shape[1]计算矩阵的列数
    # 要分类的新数据与原始数据做差
    diffMat = tile(inX, (dataSetSize, 1)) - dataSet # 数组inX以dataSetSize行1列重复
    # 求差的平方
    sqDiffMat = diffMat ** 2 # **是指次方， diffMat**2 为diffMat的平方, 比如[1, 2]**2 = [1, 4]
    # 求差的平方的和
    sqDistance = sqDiffMat.sum(axis=1) # sqDiffMat.sum(axis=1) 指array中每行元素的和，这些和再组成一个array
    # 求标准差
    distances = sqDistance ** 0.5
    # 距离排序
    sortDistIndicies = distances.argsort() # argsort()函数是将x中的元素从小到大排列，提取其对应的index(索引)，然后输出到y。例如：x[3]=-1最小，所以y[0]=3,x[5]=9最大，所以y[5]=5。
    # 定义元字典
    classCount = {}
    # 遍历前k个元素
    for i in range(k):
        # 获得前k个元素的标签
        voteIlabel = labels[sortDistIndicies[i]]
        # 计算前k个数据标签出现的次数
        classCount[voteIlabel] = classCount.get(voteIlabel, 0) + 1
        # 对得到的标签字典按降序排列
        # items()将字典分解为元组列表  operator.itemgetter(1)按照第二个元素的次序对元组进行排序 reverse=True是逆序（从大到小）
    sortedClassCount = sorted(classCount.items(), key=operator.itemgetter(1), reverse=True)
    # 返回出现次数最多的标签
    return sortedClassCount[0][0]

# 将文本文件导入数据，并将数据格式化为我们想要的格式
def file2matrix(filename):
    ###1、得到文件行数 # 打开文件
    fr = open(filename)
    arrayOLines = fr.readlines()  ###readlines()用于读取所有行，并返回包含行的列表 readline()每次读取一行
    numberOfLines = len(arrayOLines)  ###读取文件的行数
    ###2、创建返回的NumPy矩阵
    returnMat = zeros((numberOfLines, 3))  ### 创建以0填充的矩阵，且与特征数据集匹配，训练样本矩阵。
    ###3、解析文件数据到列表 vector向量
    classLabelVector = []#类标签向量
    i = 0
    # line为临时变量 遍历列表的每个元素
    for line in arrayOLines:
        line = line.strip()  ###删除空白符，这里截取掉所有回车字符
        listFromLine = line.split('\t')  ###对于每一行，按照制表符切割字符串，将上一步得到的整行数据分割成一个元素列表。
        # 对于returnMat这个二维矩阵，行取index所在的行，而列取全部列
        returnMat[i,:] = listFromLine[0:3]  ###选取前三个元素，将它们存储到特征矩阵中。
        # [-1]读取最后一个值  append()-在列表末尾添加新的对象
        classLabelVector.append(int(listFromLine[-1]))  ###将列表的最后一列存储到类别标签向量中。int是告诉解释器，列表中存储的元素值为整型。
        index += 1
    # 返回的是训练样本矩阵和类标签向量。
    return returnMat, classLabelVector


# 归一化函数
def autoNorm(dataSet):
    # 求数据矩阵每一列的最小值
    minVals = dataSet.min(0)
    # 求数据矩阵每一列的最大值
    maxVals = dataSet.max(0)
    # 求数据矩阵每一列的最大最小值差值
    ranges = maxVals - minVals
    ###shape()查看矩阵或数组的维数，创建一个与dataSet结构一样的返回矩阵（初始为0）
    normDataSet = zeros(shape(dataSet))
    # 返回数据矩阵第一维的数目 shape[0]--计算矩阵的行数
    m = dataSet.shape[0]
    # 求矩阵每一列减去该列最小值，得出差值. tile(A,n)，功能是将数组A重复n次，构成一个新的数组
    normDataSet = dataSet - tile(minVals, (m, 1))
    # 用求的差值除以最大最小值差值，即数据的变化范围，即归一化
    normDataSet = normDataSet / tile(ranges, (m, 1))
    # 返回归一化后的数据，最大最小值差值，最小值
    return normDataSet, ranges, minVals


###分类器针对约会网站的测试代码
def datingClassTest():
    hoRatio = 0.10  # 测试数据集所占比例
    # 导入文本数据 datingDataMat样本集 datingLabels标签集
    datingDataMat, datingLabels = file2matrix('D:\\下载\浏览器下载\MLiA_SourceCode\machinelearninginaction\Ch02\datingTestSet2.txt')
    normMat, ranges, minVals = autoNorm(datingDataMat)  # 将样本特征矩阵进行归一化
    m = normMat.shape[0]  # 查看归一化特征矩阵第一维度的长度
    numTestVecs = int(m * hoRatio)  # 测试集的数量
    errorCount = 0.0
    for i in range(numTestVecs):
        # 矩阵的切片
        classifierResult = classify0(normMat[i, :], normMat[numTestVecs:m, :], datingLabels[numTestVecs:m], 3)
        print('the classifier came back with:%d, the real answer is:%d'%(classifierResult,datingLabels[i]))
        # 利用训练数据训练分类器，再用分类器预测测试集的结果
        if (classifierResult != datingLabels[i]):
            errorCount += 1.0
    print ("the total error rate is : %f" % (errorCount / float(numTestVecs)))


# 对人分类
def classifyPerson():
    # 定义分类结果的类别
    resultList = ['not at all', 'in small doses', 'in large doses']
    # 读取输入数据
    percentTats = float(input("percentage of time spent playing video games?"))
    # 读取输入数据
    ffMiles = float(input("frequent flier miles earned per year?"))
    # 读取输入数据
    iceCream = float(input("liters of ice cream consumed per year?"))
    # 从文件中读取已有数据
    datingDataMat, datingLabels = file2matrix('D:\\下载\浏览器下载\MLiA_SourceCode\machinelearninginaction\Ch02\datingTestSet2.txt')
    # 对数据进行归一化
    normMat, ranges, minVals = autoNorm(datingDataMat)
    # 将单个输入数据定义成一条数据
    inArr = array([ffMiles, percentTats, iceCream])
    # 对输入数据进行分类
    classifierResult = classify0(inArr, datingDataMat, datingLabels, 3)
    # 输出预测的分类类别
    print('You will probably like this person: %s '%resultList[classifierResult - 1])