深度学习之路四——vgg16的学习

    最先提出vgg16的论文是ICLR2015会议上的《Very Deep Convolutional Networks for Large-Scale Image Recognition》,论文链接如下:
https://arxiv.org/abs/1409.1556

    论文第二章介绍了论文中所使用的六种网络结构,具体如下图1。

图1 vgg论文中的网络结构示意图

    解释一下图1的内容:表中A,A-LRN,B,C,D,E分别代表各种网络名称,对应为vgg11,包含LRN(Local Response Normalisation)的vgg11,vgg13,vgg16,vgg16(conv3版本)以及vgg19。其中网络名称的数字代表网络的深度,如vgg11就是有11层的vgg网络。需要说明的是,这里的层数不包含maxpool和softmax这些层,因为这些层没有新增任何需要训练的参数,可以理解为“常数层”。
    以vgg11为例,解释一下图表中网络的结构和组成。vgg11的网络结构即表中的第一列,以以下方式构成:
conv3-64→maxpool→conv3-128→maxpool→conv3-256→conv3-256→maxpool→conv3-512→conv3-512→maxpool→conv3-512
→conv3-512→maxpool→FC-4096→FC-4096→FC-1000→softmax。那么这些字母组合是什么意思呢?
    conv3-64的全称就是convolution kernel_size=3, the number of kernel=64,也就是说,这一层是卷积层,卷积核尺寸是3x3xn(n代表channels,是输入该层图像数据的通道数,稍后会举例解释),该卷积层有64个卷积核实施卷积操作。每一个卷积层都对输入图像进行了padding操作,padding的尺寸需要正好保证输出图像的尺寸与输入图像相同。
    FC4096全称是Fully Connected 4096,是输出层连接4096个神经元的全连接层。FC1000同理
    maxpool就是最大池化操作。最大值池化的窗口尺寸是2×2,步长stride=2;
    soft-max就是softmax操作。
    需要说明的是,表格中每一大行对应是一个隐藏层,每个隐藏层计算完后的结果都需要经过ReLU激活函数进行激活。

    接下来模拟一下原图像(224×224×3)经过vgg11网络的过程中,数据尺寸的变化:
    1).conv3-64: 输入图像尺寸是224×224×3,即有3个通道RGB,因此该层的卷积核尺寸是3×3×3(n=3);因为要保证输出图像分辨率不变(输出224×224),所以需要padding = 1;最后,因为该层有64个卷积核,所以每个卷积核都会生成一个224×224×1的图像,最终该层输出的数据即224×224×64,即拥有64个通道数。注意,该隐藏层结束后,需要经过ReLU函数激活。
    2).maxpool:该池化层的输入为224×224×64,又因为最大值池化的窗口尺寸是2×2,步长stride=2,最大池化是对每一个通道都进行操作,所以最终该层输出112×112×64;
    3).conv3-128:由于该层的输入数据是112×112×64,通道数是64,所以该层的卷积核尺寸是3×3×64;又因为该层有128个卷积核,再加上padding=1,所以该层最终输出112×112×128;注意,该隐藏层结束后,需要经过ReLU函数激活。
    4).maxpool:最大池化同上,最终输出56×56×128的图像
    5).以此类推,直到最后经过softmax得到最终结果。

    以下是使用pytorch0.4.0搭建的vgg16网络,训练数据是CIFAR10,因此最后的FC1000需要修改为FC10,因为原文的训练数据有1000个分类,而CIFAR10数据集只有10个类别,因此最终输出的onehot矩阵也只需要10个神经元即可。
    简单介绍一下CIFAR10数据集,该数据集包含训练集测试集两部分。训练集有5个batch文件,每个10000张图片,测试集有1个文件,共10000个,总共60000张图片,图片尺寸是32×32。整个数据集的图片共分为10类,每一类在训练集和测试集的数量都是相同的。其他具体内容可以自行百度。另外,绝大多数机器学习的工具库都包含自动下载该数据库的API函数,无需自己手动下载和载入。比如pytorch可以用torchvision.datasets.CIFAR10()函数自动下载数据集,具体的使用方法可以参见代码。
    代码链接如下:
    https://github.com/lavendelion/vgg16_for_CIFAR10_with_pytorch

    遇到的问题及注意点:
    1).按照论文要求,在网络最后需要加上softmax层,所以一开始就在网络搭建的时候加了“torch.nn.Softmax()”,但是后来训练结果很差,原因是,在定义损失函数的时候使用的是"torch.nn.CrossEntropyLoss()",该损失函数内部已经包含了softmax,因此不需要在网络中额外再加softmax层了;
    2).在计算准确率的时候,tensor数据(在GPU上计算的)如果需要进行常规计算,必须要加.cpu().numpy()转换为numpy类型,否则计算结果可能无法达到自己想要的效果,因为计算时数据类型无法自动移动到cpu上;
    3).如果需要使用cpu计算,需要将代码中的.cuda()全部删去;
    4).训练前千万注意,保证计算准确率和loss的方法是正确的,否则无法分析训练结果不好的原因。loss是每次训练的均值,所以需要除去训练的次数;
    5).一开始,训练的时候出了一些异常,比如loss一直保持不变(在2.0左右),或者loss在逐渐减少(但是减少幅度很小),而训练准确率却一直徘徊在10%左右跳动。首先,loss没有发散说明网络结构没有错误,然后需要检查一些输入网络的数据的初始化是否有错。如果都没有问题,再修改learning rate的值,一般是将其改小,如果发现准确率有所提升,但是提升的很慢,则说明是训练速度太慢了。这时候需要适当增加BATCH_SIZE的数量,但是BATCH_SIZE会影响最终的准确率,BATCH_SIZE越大,则最终网络的准确率越低。
    6).减小BATCH_SIZE的数量,同时增加EPOCH的数量,可以提高最终的准确率,但是训练的时间也就相应的加长了;
    7).如果你的测试集准确率一直是10%,不带跳动,那么很可能说明你的网络训练有问题,导致网络永远都输出一种类别,而测试集正好是将10个类别的数量10等分,所以准确率就会保持在10%不变。

你可能感兴趣的:(深度学习之路四——vgg16的学习)