【KAWAKO】卷积神经网络-AlexNet

目录

背景概述

网络结构

总结构图

详细描述

highlight

ReLU

Local Response Normalization（局部响应归一化）

Overlapping Pooling

Dropout

Data Augmentation（数据增强）

实验结果

优点

缺点

相关链接

---

背景概述

2012年提出，用于参加ImageNet比赛并获得了冠军。采用了更深的网络结构，使用了ReLU、Dropout等到现在为止依然有用的方法，说它是之后的深度卷积神经网络的开山鼻祖都不为过。

---

网络结构

总结构图

（个人觉得论文里的这张图对各层描述的不是很清晰。。。）

详细描述

输入为224*224*3的彩色图像。一共包括5组卷积和3层全连接。

	input shape	kernel size	kernel channels	stride	padding	bias	output shape	function
卷积1	224,224,3	11	96	4	2	true	55,55,96	卷积，过ReLU，过LRN
池化1	55,55,96	3	96	2	false		27,27,96	最大池化
卷积2	27,27,96	5	256	1	2	true	27,27,256	卷积，过ReLU，过LRN
池化2	27,27,256	3	256	2	false		13,13,256	最大池化
卷积3	13,13,256	3	384	1	1	true	13,13,384	卷积，过ReLU
卷积4	13,13,384	3	384	1	1	true	13,13,384	卷积，过ReLU
卷积5	13,13,384	3	256	1	1	true	13,13,256	卷积，过ReLU
池化5	13,13,256	3	256	2	false		6,6,256	最大池化
全连接6	6,6,256					true	1,1,4096	过ReLU，过Dropout
全连接7	1,1,4096					true	1,1,4096	过ReLU，过Dropout
全连接8	1,1,4096					true	1,1,1000	过softmax

ps：论文中使用两个GPU分别进行计算，但现在时代变了，单卡算力足够，不需要多卡计算，所以把论文中的两路计算合成单路计算。

---

highlight

ReLU

由hinton在这篇论文中提出，最早是被用来解决RBM问题，后来在AlexNet中获得了很好的效果。目前产生了LeakyReLU等许多变种。

优点：

1、具有稀疏性，能够解离掉无关特征。

2、使梯度下降和反向传播更有效率，避免了梯度爆炸和梯度消失的问题。

3、计算简单。

缺点：

1、可能会”稀疏过头“，屏蔽掉有效特征。

2、ReLU的结果没有负值。这一点通过LeakyReLU等变种得到了解决。

Local Response Normalization（局部响应归一化）

在局部创建竞争机制，增强响应大的值，抑制响应小的值。

优点：

1、可以提高泛化能力。

2、通过在feature map之间引入竞争，可以减小feature map之间的相关性。

缺点：

对模型泛化能力的提升效果不明显，后来被更强也更加常用的Batch Normalization（批归一化）取代。

Overlapping Pooling（可重叠池化）

每次移动的步长小于池化窗口，这样会使池化窗口出现重叠，能够提升预测精度，避免过拟合。

Dropout

由hinton在这篇论文中提出，主要用于缓解过拟合。

在训练过程中以某个概率暂时屏蔽掉一些神经元，当前迭代结束后消除屏蔽。

主要用在全连接中，卷积中由于稀疏化的存在所以使用的较少。一般设置为0.3或0.5。

Data Augmentation（数据增强）

吴恩达せんせい的二八定律：

      【 80%的数据 + 20%的模型 = 更好的机器学习 】

【 80%のデータ＋20%のモデル＝より良いマシン学習 】

数据集在机器学习中扮演者极其重要的角色。数据增强可以扩充数据量、增加数据多样性。

数据增强的方法有很多，包括翻转、旋转、随机裁切、平移、颜色变换等。

---

实验结果

---

优点

---

缺点

---

相关链接

论文链接

代码链接