机器学习实战之K-近邻算法（KNN）（三）示例：手写数字识别（含数据集）

转载请注明作者和出处：https://blog.csdn.net/weixin_45814668
微信公众号：qiongjian0427

知乎：https://www.zhihu.com/people/qiongjian0427
Git：https://github.com/qiongjian/Machine-learning/
Python版本： Python3.x

示例：手写数字识别

流程如下：
（1）收集数据：提供文本文件。
（2）准备数据：编写函数img2vector()，将图像格式转换为分类器使用的向量格式。
（3）分析数据：在Python命令提示符中检擦数据，确保它符合要求。
（4）训练算法：此步骤不适用于k-近邻算法。
（5）测试算法：编写函数使用提供的部分数据集作为测试样本，测试样本与非测试样本的区别在于测试样本是已经完成分类的数据，如果预测分类与实际类别不同，则标记为一个错误。

收集数据

目录trainingDigits中包含了大约2000个例子，每个例子的内容如下图所示，每个数字大约有200个样本；目录testDigits中包含了大约900个测试数据。

数据集点这里下载，关注公众号回复knn3下载。

这些文本格式存储的数字的文件命名格式为：数字的值_该数字的样本序号。

准备数据

将图像转换为分向量格式。
需要识别的数字已经使用图形处理软件，处理成具有相同的色彩和大小：宽高是32像素x32像素的黑白图像。

图：手写数字数据集的例子，由0和1组成。

我们首先将图像转换为一个向量，把一个30×32的二进制图像矩阵转换为1×1024的向量。

编写函数img2vector()，该函数创建1×1024的NumPy数组，打开给定的文件，循环读出文件的前32行，将每行的头32个字符存储到NumPy数组，最后返回数组。

python3代码：

# 导入包
from numpy import *
import os
import operator

def img2vector(filename):
    returnVect = zeros((1, 1024))#初始化要返回的1*1024向量
    fr = open(filename) #打开文件
    for i in range(32):
        #循环读取文件的前32行
        lineStr = fr.readline()
        for j in range(32):
            returnVect[0, 32*i+j] = int(lineStr[j])
    return returnVect

运行结果：

knn分类器

链接: K-近邻算法（KNN）（一）理论.

def classify0 (inX,dataSet,labels,k):
    dataSetSize = dataSet.shape[0]
    #计算欧氏距离
    diff1 = tile(inX, (dataSetSize,1)) - dataSet
    diff2 = diff1**2
    diff3 = diff2.sum(axis=1)
    diff4 = diff3**0.5
    diff = diff4.argsort()
    classCount={}
     #选择最小的距离
    for i in range (k):
        voteIlabel = labels[diff[i]]
        classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1
    #排序
    sortedClassCount = sorted( classCount.items(),key=operator.itemgetter(1),reverse=True)
    return sortedClassCount[0][0]   

测试算法

先加入from os import listdir，然后编写handwritingClassTest()测试算法。

from os import listdir

def handwritingClassTest():
    #初始化手写数字标签列表
    hwLabels = []
    
    #获取训练目录信息
    trainingFileList = listdir('trainingDigits')
    #获取训练文件数目
    m = len(trainingFileList)
    #初始化训练矩阵
    trainingMat = zeros((m,1024))
    #开始提取训练集
    for i in range(m):
        #从文件名解析出分类数字
        fileNameStr = trainingFileList[i]
        fileStr = fileNameStr.split('.')[0]
        classNumStr = int(fileStr.split('_')[0])
        #存储解析出的分类数字到标签中
        hwLabels.append(classNumStr)
        #载入图像
        trainingMat[i, :] = img2vector('trainingDigits/%s' % fileNameStr)
    
    #获取测试目录信息
    testFileList = listdir('testDigits')
    #初始化错误计数
    errorCount = 0.0
    #获取测试文件数目
    mTest = len(testFileList)
    #开始测试
    for i in range(mTest):
        #从文件名解析出分类数字
        fileNameStr = testFileList[i]
        fileStr = fileNameStr.split('.')[0]
        classNumStr = int(fileStr.split('_')[0])
        #载入图像
        vectorUnderTest = img2vector('trainingDigits/%s' % fileNameStr)
        
        
        #参数传入分类器进行分类
        classifierResult = classify0(vectorUnderTest, trainingMat, hwLabels, 3)
        #打印输出分类结果和真实结果
        print("the classifier came back with: %d, the real answer is: %d" %(classifierResult, classNumStr))
        #如果分类结果不等于真实结果，错误计数加一
        if (classifierResult != classNumStr): errorCount += 1.0
    #输出错误技术
    print("\nthe total number of errors is: %d" % errorCount)
    #输出错误率
    print("\nthe total error rate is: %f" % (errorCount/float(mTest)))

运行结果：

可以看到错误率为1.37%。
实际使用这个算法时，执行效率并不高。因为算法需要为每个测试向量做2000次距离计算，而每个距离计算包括了1024个维度浮点运算，总计执行900次，此外，还需要为测试向量准备2MB的存储空间。

kNN小结

优点：

k-近邻算法是分类数据最简单有效的算法。

缺点：

k-近邻算法必须保存全部数据集，并对数据集中的每个数据计算距离值，实际使用时存储空间大，而且耗时。

它无法给出任何数据的基础结构信息，所以我们不知道平均实例样本与典型实例样本具有什么特征。

End.