K-近邻算法（三）：手写识别系统

介绍

前两篇学习中，我们已经对KNN算法的分类器有了基础的认识，今天我们继续实践它的另一个案例—手写识别系统。只看字面意思可能不好理解是个什么案例，通俗点说就是，我们有一些数字文本，这些文本中有32行32列的数字数据（由0-1组成），通过对数字的排列 ，可实现数字的表示，如下图所示：

那么问题来了 ：给你一个新的数字文本 你如何预测它所代表的数字是什么呢？KNN分类器，继续为您服务。

案例流程

使用K-近邻算法的手写识别系统
(1)收集数据：提供文本文件。
(2)准备数据：编写函数classify0(), 将图像格式转换为分类器使用的list格式。
(3)分析数据：在python命令提示符中检查数据，确保它符合要求。
(4)训练算法：此步驟不适用于各近邻算法。
(5)测试算法：编写函数使用提供的部分数据集作为测试样本，测试样本与非测试样本的区别在于测试样本是已经完成分类的数据，如果预测分类与实际类别不同，则标记为一个错误。
(6)使用算法：本例没有完成此步驟，若你感兴趣可以构建完整的应用程序，从图像中提取数字，并完成数字识别，美国的邮件分拣系统就是一个实际运行的类似系统。

收集数据

我们使用目录trainingDigits中的数据训练分类器，使用目录testDigits中的数据测试分类器的效果。

没有数据集的朋友可以翻看上篇下载。

准备数据

准备数据：将图像转换为测试向量
该函数创建11024的Numpy数组,然后打开给定的文件,循环读出文件的前32行,并将每行的头32个字符值存储在Numpy数组中，最后返回数组 。
处理成11024的向量 在我理解是为了我们后期好处理 （算距离的时候）一行数据可代表一个数字图像。

def img2vector(filename):
    returnVect = zeros((1, 1024))
    fr = open(filename)
    for i in range(32):
        lineStr = fr.readline()  # 这里要注意 是readline() 不是 readlines() 前者每次读一行 后者一次读所以
        for j in range(32):
            returnVect[0, 32*i+j] = int(lineStr[j])
    return returnVect

测试数据

首先给出我们每次都必须的距离计算函数：

# 计算函数
def classify0(inX, dataSet, labels, k):
    dataSetSize = dataSet.shape[0]
    diffMat = tile(inX, (dataSetSize, 1)) - dataSet
    sqDiffMat = diffMat**2
    sqDistances = sqDiffMat.sum(axis=1)
    distances = sqDistances**0.5
    sortedDistIndicies = distances.argsort()
    classCount = {}
    for i in range(k):
        voteIlabel = labels[sortedDistIndicies[i]]
        classCount[voteIlabel] = classCount.get(voteIlabel, 0) + 1
    sortedClassCount = sorted(classCount.items(), key=operator.itemgetter(1), reverse=True)
    return sortedClassCount[0][0]

接下来直接进入数据预测测试（因为数据都是0-1值 无需进行进一步处理）

def handwritingClassTest():
    hwLabels = []
    trainingFileList = listdir('trainingDigits')
    # listdir：os库函数 可以遍历文件夹 获取目录内容
    # '0_0.txt', '0_1.txt', '0_10.txt', '0_100.txt', '0_101.txt', '0_102.txt', '0_103.txt', '0_104.txt'...
    m = len(trainingFileList)
    # 根据文件数目 构建相应行数矩阵向量 列数依旧为1024：32*32
    trainingMat = zeros((m, 1024))
    for i in range(m):
        fileNameStr = trainingFileList[i]
        fileStr = fileNameStr.split('.')[0]     # 只取文件名 去掉后缀 .txt 索引0取分隔符左部分
        classNumStr = int(fileStr.split('_')[0])    # 取分类数字 0_0 、0_1 在数字矩阵中代表0
        hwLabels.append(classNumStr)
        trainingMat[i, :] = img2vector('trainingDigits/%s' % fileNameStr)
    testFileList = listdir('testDigits')        # 获取测试集目录
    errorCount = 0.0                             # 错误数初始化
    mTest = len(testFileList)
    for i in range(mTest):
        fileNameStr = testFileList[i]
        fileStr = fileNameStr.split('.')[0]
        classNumStr = int(fileStr.split('_')[0])
        vectorUnderTest = img2vector('testDigits/%s' % fileNameStr)
        classifierResult = classify0(vectorUnderTest, trainingMat, hwLabels, 3)
        print("the classifier came back with: %d, the real answer is: %d" % (classifierResult, classNumStr))
        if (classifierResult != classNumStr):
            errorCount += 1.0
    print("\nthe total number of errors is: %d" % errorCount)
    print("\nthe total error rate is: %f" % ((errorCount/float(mTest))*100), "%")

查看结果

if __name__ == '__main__':
    handwritingClassTest()	
  	# the total number of errors is: 10
    # the total error rate is: 1.057082 %

结果分析

从结果来看，我们预测的成功率有99%左右，还算不错。
改变变量k的值、修改函数中参数：随机选取训练样本、改变训练样本的数目，都会对K-近邻算法的错误率产生影响，感 兴趣的话可以改变这些变量值，观察错误率的变化。
但是
实际使用这个算法时，算法的执行效率并不高。
因为算法需要为每个测试向量做2000次距离计算，每个距离计算包括了1024个维度浮点运算，总计要执行900次此外，我们还需要为测试 向量准备2MB 的存储空间。
是否存在一种算法减少存储空间和计算时间的开销呢？
决策树就是K- 近邻算法的优化版，可以节省大量的计算开销。
下一篇，我们将展开对决策树的学习，加油吧。

K-近邻算法总结

K-近邻算法是分类数据最简单最有效的算法，本章通过两个例子讲述了如何使用K-近邻算法构造分类器。K-近邻算法是基于实例的学习，使用算法时我们必须有接近实际数据的训练样本数据。K-近邻算法必须保存全部数据集，如果训练数据集的很大，必须使用大量的存储空间。此外, 由于必须对数据集中的每个数据计算距离值，实际使用时可能非常耗时。 K-近邻算法的另一个缺陷是它无法给出任何数据的基础结构信息，因此我们也无法知晓平均实例样本和典型实例样本具有什么特征。