AlexNet学习记录

学习记录：https://zhuanlan.zhihu.com/p/27222043
https://blog.csdn.net/qq_24695385/article/details/80368618
https://www.cnblogs.com/wangguchangqing/p/10333370.html

AlexNet是在LeNet的基础上加深了网络的结构，学习更丰富更高维的图像特征。
AlexNet的特点：
更深的网络结构
使用层叠的卷积层，即卷积层+卷积层+池化层来提取图像的特征
使用Dropout抑制过拟合
使用数据增强Data Augmentation抑制过拟合
使用Relu替换之前的sigmoid的作为激活函数
多GPU训练
网络结构：

网络结构流程图讲解

ReLu作为激活函数
在最初的感知机模型中，输入和输出的关系如下


ReLU是一个分段线性函数，小于等于0则输出为0；大于0的则恒等输出。

该网络共包含8个权重层，其中5个卷积层，3个全连接层。1，2卷积层后连有LRN层，不过此后的网络也证明LRN并非CNN中必须包含的层，甚至有些网络加入LRN后效果反而降低。
每个LRN及最后层卷积层后跟有最大池化层，并且各个权重层均连有RELU激活函数。
全连接层后使用了dropOut这一神器以解决过拟合。
上面这幅图的feature map 维度需要综合上下两个GPU的结果，其输入为2242243的图片，第一层卷积层的kernel个数为96，size为11113，步伐为4，其得到的feature map size为555548。
有个细节，计算feature map size时我们发现，(224-11)/4 并不能整除，也就是说kernel在水平移动时的最后一个感受野并非为1111。不过这个细节在NetScope中已经修改了，里面的输入被resize到227227*3。其后的卷积、池化及全连接就比较好理解了，当我们发现卷积的kernel size不能整除时，自动pad就好啦。

卷积1步伐为4，kernel size为111196，feature map 为555596

Pooling1步伐为2，kernel为33，feature map 为2727*96

卷积2步伐为1，kernel size 为55256，feature map 为2727256，feature map大小未变说明卷积前左右各pad 2

Pooling2步伐为2，kernel 为33，feature map 为1313*256

卷积3步伐为1，kernel size 为33384，feature map 为1313384

卷积4步伐为1，kernel size 为33384，feature map 为1313384

卷积4步伐为1，kernel size 为33256，feature map 为1313256

Pooling3步伐为2，kernel 为33，feature map 为66*256

全连接6、7的神经元个数为4096，全连接层8神经元个数为1000，对应于ImageNet的1000类。