伯禹学习平台动手学深度学习最终章

这个是我的大作业打卡，因为我最后没搞完LeTex所以我的大作业并没有做完，而在做的过程中我还有很多问题，有问题的可以提出。

大作业：卷积神经网络开放题

问题一：

阅读提出上述两种网络的相关论文(LeNet和AlexNet)，试从数据集的预处理、激活函数的使用、训练方法的改进以及模型结构的变化等角度，从理论层面分析比较LeNet与AlexNet的结构差异，并尝试解释AlexNet为什么会具有对计算机视觉任务优越的处理性能。
答：AlexNet和LeNet在提出的时候使用的数据集就不一样，AlexNet使用ImageNet的数据集，LeNet则是使用手写数字的数据集，而ImageNet的数据比手写数字的数据集复杂许多，所以AlexNet在创建的时候就是奔着比LeNet更深层的网络结构去的，更深层意味着网络更加复杂，所以AlexNet使用ReLU激活函数不仅可以减少网络的计算量，而且还能减少深层网络的梯度问题，AlexNet对计算机视觉任务优越的处理性能在于它的深层网络能更好的拟合非线性关系并且使用了dropout这些可以抑制过拟合的技巧。

AlexNet对Fashion-MNIST数据集来说可能过于复杂，请尝试对模型进行简化来使训练更快，同时保证分类准确率（accuracy）不明显下降（不低于85%），并将简化后的结构、节省的训练时间以及下降的准确率等相关指标以表格的形式进行总结分析。
答：观察FashionMNIST数据集，发现数据集比较简单，我觉得不太需要比较多的高级特征，着重在低级特征就可以很好的识别。把卷积层最后两层的高级特征去掉，为了卷积层和全连接层接通把最后的卷积层(256,384)修改为(256,256)，去掉原来的第二层全连接层，并且把通道数全部改为原来的1/4，原来68s一个epoch现在25s一个epoch，准确率几乎没怎么下降。

问题二：

LeNet与AlexNet在接近图像输入的卷积模块中都引入了较大尺寸的卷积核，如或者的卷积窗口来捕捉更大范围的图像信息，试分析VGG每个基础块的固定设计是否会影响到图像的粗粒度信息提取，并且对比不同结构模块输出的特征图进行对比。
不会影响图像粗粒度的信息提取，因为两个33感受野组合就是相对原图1个55感受野，三个33的感受野组合就是77的感受野。而vgg的层数足够多，并不会影响图像的粗粒度信息提取。

尝试将Fashion-MNIST中图像的高和宽由224改为96，试分析VGG网络的参数变化情况，并且对比模型训练时间、分类准确率（accuracy）等实验指标受到的影响，以表格的形式进行总结分析。
模型是VGG11，把宽高resize成96后分类准确率减少了4个百分点，同样大小训练集同样batchsize情况下，训练一个epoch时间从100sec降到20sec。

问题三：

对比AlexNet、VGG和NiN、GoogLeNet的模型参数尺寸，从理论的层面分析为什么后两个网络可以显著减小模型参数尺寸？

答：NiN、GooLeNet和AlexNet、VGG比较大的区别在于NiN和GooLeNet使用了11卷积核对网络的通道数进行处理，减少参数。
中间若没有11的卷积层我们计算一下，假设输入通道是256维，33和55的输出通道都是256维，则不算偏移值参数共有(33256256)+(55256256)=589,824‬+1,638,400‬=2,228,224‬个。若加上11卷积层减少通道数，假设11卷积层输出通道为64维，则参数共有(1125664)+3364256+1125664+5564256=16384+147456+16384+409600=589824个，589824/2228224=0.264可见参数减少了(1-0.264)%=73%。再NiN网络中使用11卷积层代替全连接层，合理设计网络参数必然减少，因为AlexNet,VGG等卷积网络中整个网络的参数绝大多数都在全连接层上。GooLeNet的网络就用了上述11减少通道数的方法显著减少网络参数。

GoogLeNet有数个后续版本，包括加入批量归一化层 、对Inception块做调整 和加入残差连接 ，请尝试实现并运行它们，然后观察实验结果，以表格的形式进行总结分析。
这题我找到的Inception系列有:
只有1x1卷积核控制通道数和多尺度卷积核的Inception_v1
每个卷积后面加入了BatchNorm的BN_Inception
改变了卷积核形状的多个模块和创新的下采样模块的Inception_v3
微改模块Inception_v3模块的Inception_v4
加入了残差的Inception_ResNet
由于当时没找到详细参数，我就把各个模块实现了，拼接起来整个网络也不麻烦，随后把代码整理后会放到github上。