学习笔记2：KNN实现数据集DBRHD手写识别（Python语言）

项目简介：

使用sklearn来训练一个K最近邻（k-Nearest Neighbor, KNN）分类器，用于识别数据集DBRHD的手写数字。

---

学习内容：

DBRHD数据集：每一个图片是由0或1组成的32*32的文本矩阵

sklearn库：sklearn库共分为6大部分，分别用于完成分类任务、回归任务、聚类任务、降维任务、模型选择以及数据的预处理。提供一批统一化的机器学习方法功能接口。

因此KNN的输入为图片矩阵展开的一个1024维的向量。

KNN是一种懒惰学习法，没有学习过程，只在预测时去查找最近邻的点，数据集的输入就是构建KNN分类器的过程。

注：文末附有本文数据集文件，分享给大家一起学习

---

程序代码：

import numpy as np     #导入numpy工具包
from os import listdir   #使用listdir模块，用于访问本地文件
from sklearn import neighbors
import time

start = time.perf_counter()
## 定义img2vector函数，将加载的32*32的图片矩阵展开成一列向量
def img2vector(fileName):
    retMat = np.zeros([1024],int) #定义返回的矩阵，大小为1*1024
    fr = open(fileName)           #打开包含32*32大小的数字文件
    lines = fr.readlines()        #读取文件的所有行      #readlines()从文件中一行一行地读数据，返回一个列表
    for i in range(32):           #遍历文件所有行
        for j in range(32):       #并将0-1数字存放在retMat中
            retMat[i*32+j] = lines[i][j]
    return retMat

##定义加载训练数据的函数readDataSet
def readDataSet(path):
    fileList = listdir(path)    #获取文件夹下的所有文件
    numFiles = len(fileList)    #统计需要读取的文件的数目
    dataSet = np.zeros([numFiles,1024],int)    #用于存放所有的数字文件
    hwLabels = np.zeros([numFiles])#用于存放对应的标签(与神经网络的不同)
    for i in range(numFiles):      #遍历所有的文件
        filePath = fileList[i]     #获取文件名称/路径
        digit = int(filePath.split('_')[0])   #通过文件名获取标签
        hwLabels[i] = digit        #直接存放数字，并非one-hot向量
        dataSet[i] = img2vector(path +'/'+filePath)    #读取文件内容
    return dataSet,hwLabels

#调用以上定义的两个函数加载数据，将训练的图片存放在train_dataSet中，对应的标签（文件名中的有用信息标签）存放在train_hwLabels中
train_dataSet, train_hwLabels = readDataSet('trainingDigits')

##构建KNN分类器
knn = neighbors.KNeighborsClassifier(algorithm='kd_tree', n_neighbors=3)
knn.fit(train_dataSet, train_hwLabels)

#加载测试集
dataSet,hwLabels = readDataSet('testDigits')

##使用构建好的KNN分类器对测试集进行预测，并计算预测的错误率
res = knn.predict(dataSet)  #对测试集进行预测
error_num = np.sum(res != hwLabels) #统计分类错误的数目
num = len(dataSet)          #测试集的数目
print("Total num:",num," Wrong num:", error_num,"  WrongRate:",error_num / float(num))
end = time.perf_counter()
t = end-start
print("所用时间为：", t)

---

运行结果：

KNN的准确率远高于MLP分类器，这是由于MLP在小数据集上容易过拟合。

本案例中使用的数据集文件分享给大家：

链接：百度网盘 请输入提取码 
提取码：ZiDa

将其中的训练手写图像文件夹命名为trainingDigits

将其中的测试手写图像文件夹命名为testDigits

保存到相应的工作区，运行本文代码即可