机器学习——深度学习之卷积神经网络（CNN）——AlexNet卷积神经网络结构

目录

一、AlexNet卷积神经网络结构模型

1、数据库ImageNet

2、AlexNet第一层卷积层

二、AlexNet卷积神经网络的改进

1、非线性变化函数的改变——ReLU

2、最大池化（Max Pooling）概念的提出——卷积神经网络通用

1）池化层

2）最大池化

问题1：在AlexNet中，后向传播时，池化后特征图像的梯度怎么传给池化前的图像？——赢者通吃法

3）池化过程的功能和效果

3、随机丢弃（Drop Out）

问题2：为什么参数要乘以（1-p）？

4、增加训练样本

5、利用2片GPU进行加速

​ 三、AlexNet的效果

四、AlexNet中的参数

---

一、AlexNet卷积神经网络结构模型

1998年LeNet卷积神经网络

2013年AlexNet卷积神经网络

AlexNet卷积神经网络相较于LeNet卷积神经网络其实本质上没有改变，只是在一些细节上进行了改善

1、数据库ImageNet

数据库：ImageNet

样本数据：120万

类别：1000类

2、AlexNet第一层卷积层

第一层卷积层的相关参数

图像大小：227*227*3

卷积核大小：11*11*3

卷积核个数：96个

步长：【4，4】

特征图像大小：55*55*96，图上看起来是48，实际上是96，将96分成两个48给两个GPU进行处理

二、AlexNet卷积神经网络的改进

1、非线性变化函数的改变——ReLU

2、最大池化（Max Pooling）概念的提出——卷积神经网络通用

1）池化层

在LeNet中这一层叫做降采样层，Alex将其改名为池化层Pooling

2）最大池化

LeNet中这一层所做的事情是将红色区域的所有值的平均值作为输出，变成右边的一个蓝色像素格子

但是在AlexNet中，是将红色区域中最大的像素值作为输出，变成右边的一个蓝色像素格子的值

问题1：在AlexNet中，后向传播时，池化后特征图像的梯度怎么传给池化前的图像？——赢者通吃法

答：在LeNet中前向传播是平均池化，后向传播时将池化后的特征每一个格子的梯度平均分给池化前的图像

但是在AlexNet中由于是最大池化得到的池化后的特征图像，因此在后向传播的梯度处理上，也是基于此。将上图中蓝色格子的梯度直接传播赋值给池化前红色区域的像素值最大的格子，其余的格子的梯度设置为0，这就是赢者通吃法则

3）池化过程的功能和效果

功能：

降采样

非线性操作——因此池化用的是最大池化，和RULE函数进行非线性转换的效果是一样的

效果：

只有最大像素值有关，其余像素的梯度均设置为0，这样导致的结果就是参与前向计算的神经元减少，降低了过拟合的可能

3、随机丢弃（Drop Out）

训练用丢弃神经元后的神经网络，测试的时候需要用完整的神经网络

注：随机丢弃可以随机地激活一部分神经元，会使得参数稳定化，避免了过拟合

问题2：为什么参数要乘以（1-p）？

答：望赐教

4、增加训练样本

有的时候参数过多，训练样本不够，这样就会导致待测参数的不准确，使得性能不够

5、利用2片GPU进行加速

三、AlexNet的效果

 

四、AlexNet中的参数

参数个数可参考：《机器学习——深度学习之卷积神经网络（CNN）——LeNet卷积神经网络结构》