深度学习之路四——vgg16的学习

    最先提出vgg16的论文是ICLR2015会议上的《Very Deep Convolutional Networks for Large-Scale Image Recognition》，论文链接如下：
https://arxiv.org/abs/1409.1556

    论文第二章介绍了论文中所使用的六种网络结构，具体如下图1。

图1 vgg论文中的网络结构示意图

    解释一下图1的内容：表中A,A-LRN,B,C,D,E分别代表各种网络名称，对应为vgg11,包含LRN(Local Response Normalisation)的vgg11,vgg13,vgg16,vgg16(conv3版本)以及vgg19。其中网络名称的数字代表网络的深度，如vgg11就是有11层的vgg网络。需要说明的是，这里的层数不包含maxpool和softmax这些层，因为这些层没有新增任何需要训练的参数，可以理解为“常数层”。
    以vgg11为例，解释一下图表中网络的结构和组成。vgg11的网络结构即表中的第一列，以以下方式构成：
conv3-64→maxpool→conv3-128→maxpool→conv3-256→conv3-256→maxpool→conv3-512→conv3-512→maxpool→conv3-512
→conv3-512→maxpool→FC-4096→FC-4096→FC-1000→softmax。那么这些字母组合是什么意思呢？
    conv3-64的全称就是convolution kernel_size=3, the number of kernel=64，也就是说，这一层是卷积层，卷积核尺寸是3x3xn(n代表channels，是输入该层图像数据的通道数，稍后会举例解释)，该卷积层有64个卷积核实施卷积操作。每一个卷积层都对输入图像进行了padding操作，padding的尺寸需要正好保证输出图像的尺寸与输入图像相同。
    FC4096全称是Fully Connected 4096，是输出层连接4096个神经元的全连接层。FC1000同理
    maxpool就是最大池化操作。最大值池化的窗口尺寸是2×2，步长stride=2；
    soft-max就是softmax操作。
    需要说明的是，表格中每一大行对应是一个隐藏层，每个隐藏层计算完后的结果都需要经过ReLU激活函数进行激活。

    接下来模拟一下原图像(224×224×3)经过vgg11网络的过程中，数据尺寸的变化：
    1).conv3-64: 输入图像尺寸是224×224×3，即有3个通道RGB，因此该层的卷积核尺寸是3×3×3(n=3)；因为要保证输出图像分辨率不变(输出224×224)，所以需要padding = 1；最后，因为该层有64个卷积核，所以每个卷积核都会生成一个224×224×1的图像，最终该层输出的数据即224×224×64，即拥有64个通道数。注意，该隐藏层结束后，需要经过ReLU函数激活。
    2).maxpool:该池化层的输入为224×224×64，又因为最大值池化的窗口尺寸是2×2，步长stride=2，最大池化是对每一个通道都进行操作，所以最终该层输出112×112×64；
    3).conv3-128:由于该层的输入数据是112×112×64，通道数是64，所以该层的卷积核尺寸是3×3×64；又因为该层有128个卷积核，再加上padding=1，所以该层最终输出112×112×128；注意，该隐藏层结束后，需要经过ReLU函数激活。
    4).maxpool:最大池化同上，最终输出56×56×128的图像
    5).以此类推，直到最后经过softmax得到最终结果。

    以下是使用pytorch0.4.0搭建的vgg16网络，训练数据是CIFAR10，因此最后的FC1000需要修改为FC10，因为原文的训练数据有1000个分类，而CIFAR10数据集只有10个类别，因此最终输出的onehot矩阵也只需要10个神经元即可。
    简单介绍一下CIFAR10数据集，该数据集包含训练集测试集两部分。训练集有5个batch文件，每个10000张图片，测试集有1个文件，共10000个，总共60000张图片，图片尺寸是32×32。整个数据集的图片共分为10类，每一类在训练集和测试集的数量都是相同的。其他具体内容可以自行百度。另外，绝大多数机器学习的工具库都包含自动下载该数据库的API函数，无需自己手动下载和载入。比如pytorch可以用torchvision.datasets.CIFAR10()函数自动下载数据集，具体的使用方法可以参见代码。
    代码链接如下：
    https://github.com/lavendelion/vgg16_for_CIFAR10_with_pytorch

    遇到的问题及注意点：
    1).按照论文要求，在网络最后需要加上softmax层，所以一开始就在网络搭建的时候加了“torch.nn.Softmax()”，但是后来训练结果很差，原因是，在定义损失函数的时候使用的是"torch.nn.CrossEntropyLoss()"，该损失函数内部已经包含了softmax，因此不需要在网络中额外再加softmax层了；
    2).在计算准确率的时候，tensor数据(在GPU上计算的)如果需要进行常规计算，必须要加.cpu().numpy()转换为numpy类型，否则计算结果可能无法达到自己想要的效果，因为计算时数据类型无法自动移动到cpu上；
    3).如果需要使用cpu计算，需要将代码中的.cuda()全部删去；
    4).训练前千万注意，保证计算准确率和loss的方法是正确的，否则无法分析训练结果不好的原因。loss是每次训练的均值，所以需要除去训练的次数；
    5).一开始，训练的时候出了一些异常，比如loss一直保持不变(在2.0左右)，或者loss在逐渐减少(但是减少幅度很小)，而训练准确率却一直徘徊在10%左右跳动。首先，loss没有发散说明网络结构没有错误，然后需要检查一些输入网络的数据的初始化是否有错。如果都没有问题，再修改learning rate的值，一般是将其改小，如果发现准确率有所提升，但是提升的很慢，则说明是训练速度太慢了。这时候需要适当增加BATCH_SIZE的数量，但是BATCH_SIZE会影响最终的准确率，BATCH_SIZE越大，则最终网络的准确率越低。
    6).减小BATCH_SIZE的数量，同时增加EPOCH的数量，可以提高最终的准确率，但是训练的时间也就相应的加长了；
    7).如果你的测试集准确率一直是10%，不带跳动，那么很可能说明你的网络训练有问题，导致网络永远都输出一种类别，而测试集正好是将10个类别的数量10等分，所以准确率就会保持在10%不变。