【深度学习】【PaddlePaddle】DAY 4 - 图像分类问题：手写数字识别案例（一）

Chapter 3 图像分类问题

3.1 手写数字识别任务

（1）数字识别概述

数字识别是计算机从纸质文档、照片或其他来源接收、理解并识别可读的数字的能力，目前比较受关注的是手写数字识别。手写数字识别是一个典型的图像分类问题，已经被广泛应用于汇款单号识别、手写邮政编码识别等领域，大大缩短了业务处理时间，提升了工作效率和质量。
任务示意图：

手写邮政编码→进行简单图像分类，使用基于MNIST数据集的手写数字识别模型→判断结构，输出数据
MNIST是深度学习领域标准、易用的成熟数据集，包含60000条训练样本和10000条测试样本。

（2）MNIST数据集

MNIST数据集是从NIST的Special Database 3（SD-3）和Special Database 1（SD-1）构建而来。Yann LeCun等人从SD-1和SD-3中各取一半数据作为MNIST训练集和测试集，其中训练集来自250位不同的标注员，且训练集和测试集的标注员完全不同。

MNIST数据集的发布，吸引了大量科学家训练模型。1998年，LeCun分别用单层线性分类器、多层感知器（Multilayer Perceptron, MLP）和多层卷积神经网络LeNet进行实验，使得测试集的误差不断下降（从12%下降到0.7%）。在研究过程中，LeCun提出了卷积神经网络（Convolutional Neural Network，CNN），大幅度地提高了手写字符的识别能力，也因此成为了深度学习领域的奠基人之一。

如今在深度学习领域，卷积神经网络占据了至关重要的地位，从最早LeCun提出的简单LeNet，到如今ImageNet大赛上的优胜模型VGGNet、GoogLeNet、ResNet等，人们在图像分类领域，利用卷积神经网络得到了一系列惊人的结果。

3.2 构建手写数字识别任务的神经网络模型

同样，构建模型的三要素：模型假设、评价函数和优化算法的流程与房价预测模型任务一致。模型的构建和训练可分为五个步骤：数据处理、模型设计、训练配置、训练过程和模型保存。

从代码结构看，模型均为数据处理、定义网络结构和训练过程三个部分。
纵向概要介绍模型的基本代码结构和实现方案，横向探讨构建模型的每个环节中的更优但相对复杂的实现方案。

下面先用房价预测任务的架构进行方案的初步构建，先采用飞桨封装的API进行学习：

前提条件：载入相关类库

#加载飞桨和相关类库
import paddle
import paddle.fluid as fluid
from paddle.fluid.dygraph.nn import Linear
import numpy as np
import os
from PIL import Image

（1）数据处理

通过paddle.dataset.mnist.train()函数设置数据读取器，batch_size设置为8，即一个批次有8张图片和8个标签，代码如下所示。

# 如果～/.cache/paddle/dataset/mnist/目录下没有MNIST数据，API会自动将MINST数据下载到该文件夹下
# 设置数据读取器，读取MNIST数据训练集
trainset = paddle.dataset.mnist.train()
# 包装数据读取器，每次读取的数据数量设置为batch_size=8
train_reader = paddle.batch(trainset, batch_size=8)

输出

Cache file /home/aistudio/.cache/paddle/dataset/mnist/train-images-idx3-ubyte.gz not found, downloading https://dataset.bj.bcebos.com/mnist/train-images-idx3-ubyte.gz 
Begin to download

Download finished
Cache file /home/aistudio/.cache/paddle/dataset/mnist/train-labels-idx1-ubyte.gz not found, downloading https://dataset.bj.bcebos.com/mnist/train-labels-idx1-ubyte.gz 
Begin to download
........
Download finished

paddle.batch函数将MNIST数据集拆分成多个批次，通过如下代码读取第一个批次的数据内容，观察打印结果。

# 以迭代的形式读取数据
for batch_id, data in enumerate(train_reader()):
    # 获得图像数据，并转为float32类型的数组
    img_data = np.array([x[0] for x in data]).astype('float32')
    # 获得图像标签数据，并转为float32类型的数组
    label_data = np.array([x[1] for x in data]).astype('float32')
    # 打印数据形状
    print("图像数据形状和对应数据为:", img_data.shape, img_data[0])
    print("图像标签形状和对应数据为:", label_data.shape, label_data[0])
    break

print("\n打印第一个batch的第一个图像，对应标签数字为{}".format(label_data[0]))

# 反归一化，显示第一batch的第一个图像
import matplotlib.pyplot as plt
img = np.array(img_data[0]+1)*127.5
img = np.reshape(img, [28, 28]).astype(np.uint8)

plt.figure("Image") # 图像窗口名称
plt.imshow(img)
plt.axis('on') # 关掉坐标轴为 off
plt.title('image') # 图像题目
plt.show()

输出

图像标签形状和对应数据为: (8,) 5.0
打印第一个batch的第一个图像，对应标签数字为5.0

从打印结果看，从数据加载器train_reader()中读取一次数据，可以得到形状为（8, 784）的图像数据和形状为（8,）的标签数据。其中，形状中的数字8与设置的batch_size大小对应，784为MINIST数据集中每个图像的像素大小(28*28)。

此外，从打印的图像数据来看，图像数据的范围是[-1, 1]，表明这是已经完成图像归一化后的图像数据，并且空白背景部分的值是-1。将图像数据反归一化，并使用matplotlib工具包将其显示出来。可以看到图片显示的数字是5，和对应标签数字一致。

（2）模型设计

在房价预测深度学习任务中使用了单层且线性变换的模型，取得了理想的预测效果。在手写数字识别任务中，依然使用这个模型预测输入的图形数字值。其中，模型的输入为784维（28*28）数据，输出为1维数据，如图所示。

输入像素的位置排布信息对理解图像内容非常重要（如将原始尺寸为28*28图像的像素按照7*112的尺寸排布，那么其中的数字将不可识别），因此网络的输入设计为28*28的尺寸，而不是1*784，以便于模型能够正确处理像素之间的空间信息。

事实上，采用只有一层的简单网络（对输入求加权和）时并没有处理位置关系信息，因此可以猜测出此模型的预测效果有限。在后续优化环节中，介绍的卷积神经网络则更好的考虑了这种位置关系信息，模型的预测效果也会显著提升。

下面以类的方式组建手写数字识别的网络，实现方法如下所示。

# 定义mnist数据识别网络结构，同房价预测网络
class MNIST(fluid.dygraph.Layer):
    def __init__(self):
        super(MNIST, self).__init__()
        
        # 定义一层全连接层，输出维度是1，激活函数为None，即不使用激活函数
        self.fc = Linear(input_dim=784, output_dim=1, act=None)
        
    # 定义网络结构的前向计算过程
    def forward(self, inputs):
        outputs = self.fc(inputs)
        return outputs

（3）训练配置

训练配置需要先生成模型实例（设为“训练”状态），再设置优化算法和学习率（使用随机梯度下降SGD，学习率设置为0.001），实现方法如下所示。

# 定义飞桨动态图工作环境
with fluid.dygraph.guard():
    # 声明网络结构
    model = MNIST()
    # 启动训练模式
    model.train()
    # 定义数据读取函数，数据读取batch_size设置为16
    train_loader = paddle.batch(paddle.dataset.mnist.train(), batch_size=16)
    # 定义优化器，使用随机梯度下降SGD优化器，学习率设置为0.001
    optimizer = fluid.optimizer.SGDOptimizer(learning_rate=0.001, parameter_list=model.parameters())

（4）训练过程和模型保存

训练过程采用二层循环嵌套方式，训练完成后需要保存模型参数，以便后续使用。

• 内层循环：负责整个数据集的一次遍历，遍历数据集采用分批次（batch）方式。
• 外层循环：定义遍历数据集的次数，本次训练中外层循环10次，通过参数EPOCH_NUM设置。

# 通过with语句创建一个dygraph运行的context
# 动态图下的一些操作需要在guard下进行
with fluid.dygraph.guard():
    model = MNIST()
    model.train()
    train_loader = paddle.batch(paddle.dataset.mnist.train(), batch_size=16)
    optimizer = fluid.optimizer.SGDOptimizer(learning_rate=0.001, parameter_list=model.parameters())
    EPOCH_NUM = 10
    for epoch_id in range(EPOCH_NUM):
        for batch_id, data in enumerate(train_loader()):
            #准备数据，格式需要转换成符合框架要求
            image_data = np.array([x[0] for x in data]).astype('float32')
            label_data = np.array([x[1] for x in data]).astype('float32').reshape(-1, 1)
            # 将数据转为飞桨动态图格式
            image = fluid.dygraph.to_variable(image_data)
            label = fluid.dygraph.to_variable(label_data)
            
            #前向计算的过程
            predict = model(image)
            
            #计算损失，取一个批次样本损失的平均值
            loss = fluid.layers.square_error_cost(predict, label)
            avg_loss = fluid.layers.mean(loss)
            
            #每训练了1000批次的数据，打印下当前Loss的情况
            if batch_id !=0 and batch_id  % 1000 == 0:
                print("epoch: {}, batch: {}, loss is: {}".format(epoch_id, batch_id, avg_loss.numpy()))
            
            #后向传播，更新参数的过程
            avg_loss.backward()
            optimizer.minimize(avg_loss)
            model.clear_gradients()

    # 保存模型
    fluid.save_dygraph(model.state_dict(), 'mnist')

输出

epoch: 0, batch: 1000, loss is: [1.914191]
epoch: 0, batch: 2000, loss is: [4.203541]
epoch: 0, batch: 3000, loss is: [3.6532393]
epoch: 1, batch: 1000, loss is: [1.7960105]
epoch: 1, batch: 2000, loss is: [3.9927847]
epoch: 1, batch: 3000, loss is: [3.5099282]
epoch: 2, batch: 1000, loss is: [1.7756804]
epoch: 2, batch: 2000, loss is: [3.8704638]
epoch: 2, batch: 3000, loss is: [3.4187527]
epoch: 3, batch: 1000, loss is: [1.7850097]
epoch: 3, batch: 2000, loss is: [3.8069916]
epoch: 3, batch: 3000, loss is: [3.3495646]
epoch: 4, batch: 1000, loss is: [1.8023555]
epoch: 4, batch: 2000, loss is: [3.7758842]
epoch: 4, batch: 3000, loss is: [3.291829]
epoch: 5, batch: 1000, loss is: [1.8208311]
epoch: 5, batch: 2000, loss is: [3.7620187]
epoch: 5, batch: 3000, loss is: [3.242042]
epoch: 6, batch: 1000, loss is: [1.8383725]
epoch: 6, batch: 2000, loss is: [3.757275]
epoch: 6, batch: 3000, loss is: [3.1988058]
epoch: 7, batch: 1000, loss is: [1.8544042]
epoch: 7, batch: 2000, loss is: [3.7573588]
epoch: 7, batch: 3000, loss is: [3.161274]
epoch: 8, batch: 1000, loss is: [1.8688419]
epoch: 8, batch: 2000, loss is: [3.7599602]
epoch: 8, batch: 3000, loss is: [3.1287313]
epoch: 9, batch: 1000, loss is: [1.8817756]
epoch: 9, batch: 2000, loss is: [3.7638302]
epoch: 9, batch: 3000, loss is: [3.1005385]

通过观察上述代码可以发现，手写数字识别的代码与房价预测任务几乎一致，如果不是下述读取数据的两行代码有所差异，往往会误认为这是房价预测的模型。

#准备数据，格式需要转换成符合框架要求
   image_data = np.array([x[0] for x in data]).astype('float32')
   label_data = np.array([x[1] for x in data]).astype('float32').reshape(-1, 1)

另外，从训练过程中Loss发生的变化可以发现，虽然Loss整体上在降低，但到训练的最后一轮，Loss值依然较高。可以猜测手写数字识别完全复用房价预测的代码，训练效果并不好。接下来我们通过模型测试，获取模型训练的真实效果。另外，从训练过程中Loss发生的变化可以发现，虽然Loss整体上在降低，但到训练的最后一轮，Loss值依然较高。可以猜测手写数字识别完全复用房价预测的代码，训练效果并不好。接下来我们通过模型测试，获取模型训练的真实效果。

（5）模型测试

模型测试的主要目的是验证训练好的模型是否能正确识别出数字，包括如下四步：

• step1：声明实例
• step2：加载模型：加载训练过程中保存的模型参数。
• step3：灌入数据：将测试样本传入模型，模型的状态设置为校验状态（eval），显式告诉框架我们接下来只会使用前向计算的流程，不会计算梯度和梯度反向传播。
• step4：获取预测结果，取整后作为预测标签输出。

在模型测试之前，需要先从’./work/example_0.jpg’文件中读取样例图片，并进行归一化处理。

# 导入图像读取第三方库
import matplotlib.image as mpimg
import matplotlib.pyplot as plt
import cv2
import numpy as np
# 读取图像
img1 = cv2.imread('./work/example_0.png')
example = mpimg.imread('./work/example_0.png')
# 显示图像
plt.imshow(example)
plt.show()
im = Image.open('./work/example_0.png').convert('L')
print(np.array(im).shape)
im = im.resize((28, 28), Image.ANTIALIAS)
plt.imshow(im)
plt.show()
print(np.array(im).shape)

输出

# 读取一张本地的样例图片，转变成模型输入的格式
def load_image(img_path):
    # 从img_path中读取图像，并转为灰度图
    im = Image.open(img_path).convert('L')
    print(np.array(im))
    im = im.resize((28, 28), Image.ANTIALIAS)
    im = np.array(im).reshape(1, -1).astype(np.float32)
    # 图像归一化，保持和数据集的数据范围一致
    im = 1 - im / 127.5
    return im

# 定义预测过程
with fluid.dygraph.guard():
    model = MNIST()
    params_file_path = 'mnist'
    img_path = './work/example_0.png'
# 加载模型参数
    model_dict, _ = fluid.load_dygraph("mnist")
    model.load_dict(model_dict)
# 灌入数据
    model.eval()
    tensor_img = load_image(img_path)
    result = model(fluid.dygraph.to_variable(tensor_img))
#  预测输出取整，即为预测的数字，打印结果
    print("本次预测的数字是", result.numpy().astype('int32'))

输出

[[255 255 255 ... 255 255 255]
 [255 255 255 ... 255 255 255]
 [255 255 255 ... 255 255 255]
 ...
 [255 255 255 ... 255 255 255]
 [255 255 255 ... 255 255 255]
 [255 255 255 ... 255 255 255]]
本次预测的数字是 [[4]]

从打印结果来看，模型预测出的数字是与实际输出的图片的数字不一致。这里只是验证了一个样本的情况，如果我们尝试更多的样本，可发现许多数字图片识别结果是错误的。因此完全复用房价预测的实验并不适用于手写数字识别任务！

接下来会对手写数字识别实验模型进行逐一改进，直到获得令人满意的结果。

注意：1.图片需要进行归一化；2.模型要设置校验状态，才能保证模型正确