MNIST手写数字识别 —— 图像分析法实现二分类

 手写数字任务识别简介

        MNIST 数据集来自美国国家标准与技术研究所（National Institute of Standards and Technology，简称 NIST ），总共有7万张图，其中训练集6万张，由 250 个不同人的手写数字构成, 50% 是高中学生, 另外 50% 是人口普查局的工作人员，测试集1万张图，也是由同样比例的人手写的数字。该数据集在深度学习领域，是一个很经典的入门学习数据集，部分手写数字的图片样例如下：

1.下载MNIST数据集

# 创建datasets目录
import os
datasets_dir = '../datasets'
if not os.path.exists(datasets_dir):
    os.makedirs(datasets_dir)

os是提供了一些方便使用操作系统相关功能的函数，通过import将该工具包导入。

1.获得当前文件路径：os.getcwd()
2.新建一个文件夹：os.mkdir()
3.跳转当前文件路径：os.chdir(一个已存在的目录)
4.获得路径下的所有文件名称：os.listdir(path)
5.返回是否是文件夹：os.path.isdir()
6.返回是否是文件：os.path.isfile()
7.将文件路径进行拆分：os.path.split()
8.修改文件名称：os.rename()

# 下载数据集，由于使用的数据源在华为云OBS中，所以本代码只能在华为云 ModelArts 中运行
import moxing as mox
if not os.path.exists(os.path.join(datasets_dir, 'MNIST_Data.zip')):
    mox.file.copy('obs://modelarts-labs-bj4-v2/course/hwc_edu/python_module_framework/datasets/mindspore_data/MNIST_Data.zip', 
                  os.path.join(datasets_dir, 'MNIST_Data.zip'))
    os.system('cd %s; unzip MNIST_Data.zip' % (datasets_dir))

moxing：MoXing（模型）是华为云深度学习服务提供的网络模型开发API。相对于TensorFlow和MXNet等原生API而言，MoXing API让模型的代码编写更加简单，而且能够自动获取高性能的分布式执行能力。

 2.读取MNIST数据集

import numpy as np
import mindspore.dataset as ds

# 读取完整训练样本和测试样本
datasets_dir = '../datasets'
mnist_ds_train = ds.MnistDataset(os.path.join(datasets_dir, "MNIST_Data/train"))
mnist_ds_test = ds.MnistDataset(os.path.join(datasets_dir, "MNIST_Data/test"))

# 为训练集创建字典迭代器，提取训练图片和标签
items_train = mnist_ds_train.create_dict_iterator(output_numpy=True)
train_data = np.array([i for i in items_train])
images_train = np.array([i["image"] for i in train_data])
labels_train = np.array([i["label"] for i in train_data])

# 为测试集创建字典迭代器，提取测试图片和标签
items_test = mnist_ds_test.create_dict_iterator(output_numpy=True)
test_data = np.array([i for i in items_test])
images_test = np.array([i["image"] for i in test_data])
labels_test = np.array([i["label"] for i in test_data])

print("训练集规模：")  # 60000个训练样本
print("图片：{}, 标签：{}".format(images_train.shape, labels_train.shape))
print("测试集规模：")  # 10000个训练样本
print('图片：{}, 标签：{}'.format(images_test.shape, labels_test.shape))

训练集规模：

图片：(60000, 28, 28, 1), 标签：(60000,)

测试集规模：

图片：(10000, 28, 28, 1), 标签：(10000,)

 3.查看部分图片及标签

from PIL import Image

batch_img = np.squeeze(images_train[0])
print("图像的大小： ", batch_img.shape)
print("图像的标签： ", labels_train[0])
Image.fromarray(batch_img)  # 转成PIL格式进行图片显示

图像的大小： (28, 28)

图像的标签： 9

batch_img = np.squeeze(images_train[1])
print("图像的大小： ", batch_img.shape)
print("图像的标签： ", labels_train[1])
Image.fromarray(batch_img)  # 转成PIL格式进行图片显示

图像的大小： (28, 28)

图像的标签： 4

图像分析法实现手写数字二分类

（使用传统的软件编程方法,分析图像统计特征的方法，而不是AI的方法来实现手写数字识别。）

        手写数字识别任务，是要对每张28*28大小的图片进行预测，判断该图片是数字0-9中的哪一个，因此这是一个10分类的任务。
        做科研的常规方法是先对一个问题做一些假设或简化，尝试去解决这个简单的问题，等简单问题得到较好的解决之后，再减少假设，尝试解决更贴近现实情况、也更复杂的问题。遵循这种方法，先假设手写数字识别任务只需要识别0和1两个数字，先尝试解决这个简单的二分类问题，之后再解决10分类的问题。
        实现手写数字0和1的二分类，有很多种方法，先采用非机器学习的方法，比如基于图像分析的传统编程方法来实现数字0和1的二分类。

1.准备手写数字0和1的数据集

        由于整个MNIST数据集是包含0~9的所有图片，现在研究的是简化的0和1的二分类问题，所以先从整个数据集中将所有手写数字0和1的图片挑选出来，同样也需要区分训练集和测试集。

import os
import numpy as np
import mindspore.dataset as ds

datasets_dir = '../datasets'
if not os.path.exists(datasets_dir):
    os.makedirs(datasets_dir)
    
import moxing as mox
if not os.path.exists(os.path.join(datasets_dir, 'MNIST_Data.zip')):
    mox.file.copy('obs://modelarts-labs-bj4-v2/course/hwc_edu/python_module_framework/datasets/mindspore_data/MNIST_Data.zip', 
                  os.path.join(datasets_dir, 'MNIST_Data.zip'))
    os.system('cd %s; unzip MNIST_Data.zip' % (datasets_dir))

# 读取完整训练样本和测试样本
mnist_ds_train = ds.MnistDataset(os.path.join(datasets_dir, "MNIST_Data/train"))
mnist_ds_test = ds.MnistDataset(os.path.join(datasets_dir, "MNIST_Data/test"))

# 为训练集创建字典迭代器，提取训练图片和标签
items_train = mnist_ds_train.create_dict_iterator(output_numpy=True)
train_data = np.array([i for i in items_train])
images_train = np.array([i["image"] for i in train_data])
labels_train = np.array([i["label"] for i in train_data])

# 为测试集创建字典迭代器，提取测试图片和标签
items_test = mnist_ds_test.create_dict_iterator(output_numpy=True)
test_data = np.array([i for i in items_test])
images_test = np.array([i["image"] for i in test_data])
labels_test = np.array([i["label"] for i in test_data])

 提取0和1数据

# 提取 0 ，1 数据
train_zeros = images_train[labels_train==0]
train_ones = images_train[labels_train==1]

test_zeros = images_test[labels_test==0]
test_ones = images_test[labels_test==1]

print('数字0，训练集规模：', len(train_zeros), '，测试集规模：', len(test_zeros))
print('数字1，训练集规模：', len(train_ones), '，测试集规模：', len(test_ones))

数字0，训练集规模： 5923 ，测试集规模： 980

数字1，训练集规模： 6742 ，测试集规模： 1135

 2.进行样本分析 

查看样本的整体概况

# 查看30张数字0的图片
from PIL import Image

batch_zeros = np.squeeze(train_zeros[:30])
Image.fromarray(np.hstack(batch_zeros))

# 查看30张数字1的图片
batch_ones = np.squeeze(train_ones[:30])
Image.fromarray(np.hstack(batch_ones))

查看单张图片的细节 

        上文提到，MNIST数据集中的每张图片都是28*28大小，使用python模块读取图片文件后，图片可以用一个28*28的矩阵来表示，下面查看一下这个矩阵中的具体数值。

# 首先安装必要的库
!pip install jinja2

# 查看图片的像素值
import pandas as pd

single_image = np.squeeze(images_train[0])
df = pd.DataFrame(single_image)
df.style.set_properties(**{'font-size':'6pt'}).background_gradient('Greys')

 ▲图片数字4的矩阵值

        在手写数字原图中，图片的背景是黑色，对应的像素值是0， 数字笔画的颜色是白色，对应的像素值是255，为了方便显示，上图显示的颜色做了黑白翻转。

可以发现一个现象： 矩阵中的每一个值都代表图片中的一个像素，没有笔画的地方是0像素值，有笔画的地方是非零像素，而且按照常理，同样大小的图片中，数字0的笔画面积一般会比数字1的笔画面积要多。
由此产生一个思路： 能否根据笔画产生的非零像素在整幅图像中的占比来区分数字0和1？
先分别统计数字0和数字1的非零像素在整幅图像中的占比均值，由于数字0的非零像素占比一般比数字1的要大，所以只需要找到一个合适的非零像素占比阈值（用变量th表示），如果某张图片的非零像素占比大于th，就可以将该图片分类为0，否则分类为1。为实现这个思路，我们接下来可以采用传统的编程方法来一步步实现。

 3.定义非零像素占比函数

def calc_nonzero_ratio(img):
    '''实现方法：使用np.count_nonzero函数统计矩阵中的非零像素个数，除以图像大小，即可得到非零像素占比'''
    img = np.asarray(img)
    return np.count_nonzero(img) / img.size

 统计数字0的非零像素占比均值

zeros_ratio = 0
for zero in train_zeros:
    zeros_ratio += calc_nonzero_ratio(zero)
zeros_ratio = zeros_ratio / len(train_zeros)
print('数字0的非零像素占比均值：', zeros_ratio)

数字0的非零像素占比均值： 0.24486587223104644

统计数字1的非零像素占比均值

ones_ratio = 0
for one in train_ones:
    ones_ratio += calc_nonzero_ratio(one)
ones_ratio = ones_ratio / len(train_ones)
print('数字1的非零像素占比均值：', ones_ratio)

数字1的非零像素占比均值： 0.10949749968216267

 4.设置像素占比分类阈值

        先采取一个简单的策略来设置分类阈值，直接取数字0和数字1的非零像素占比的平均值，取4位有效小数。

th = round((zeros_ratio + ones_ratio) / 2, 4)
print('分类阈值：', th)

分类阈值：0.1772

5.定义分类预测函数 

        这个分类方法很简单，如果某张图片的非零像素占比大于th，就将该图片分类为0，否则分类为1 。

def predict(img):
    if calc_nonzero_ratio(img) > th:
        pred_label = 0
    else:
        pred_label = 1
    return pred_label

6.准确率统计

对数字0的测试样本进行预测，并统计准确率 

zero_right_count = 0
for zero in test_zeros:
    pred_result = predict(zero)
    if pred_result == 0:
        zero_right_count += 1
print('数字0测试样本准确率：%.4f' % (float(zero_right_count) / len(test_zeros)))

数字0测试样本准确率：0.9571

对数字1的测试样本进行预测，并统计准确率

one_right_count = 0
for one in test_ones:
    pred_result = predict(one)
    if pred_result == 1:
        one_right_count += 1
print('数字1测试样本准确率：%.4f' % (float(one_right_count) / len(test_ones)))

数字1测试样本准确率：0.9762

 统计综合准确率

print('测试样本综合准确率：%.4f' % (float(zero_right_count + one_right_count) / (len(test_zeros) + len(test_ones))))

测试样本综合准确率：0.9674

        如上所示，使用“统计非零像素占比，比较阈值” 这种很简单的策略，也可以实现手写数字0和1的分类，数字0和数字1的分类准确率分别是 95.71% 和 97.62%，综合准确率达到 96.74% 。