AlexNet

训练数据为ImageNet，该数据集由李飞飞团队创建，包含有1400万张带标记的图片，总共分1000个类别。该数据集为每年举办的ILSVRC比赛的标准数据集。

网络结构

input	layer	kernel	kernel_num	stride	pad	output	parameters
227*227*3	CONV1	11*11*3	96	4	0	55*55*96	(11*11*3)*96=35K
55*55*96	MAXPOOL1	3*3		2	0	27*27*96
27*27*96	NORM1
27*27*96	CONV2	5*5*96	256	1	2	27*27*256	(5*5*96)*256=614K
27*27*256	MAXPOOL2	3*3		2	0	13*13*256
13*13*256	NORM2
13*13*256	CONV3	3*3*256	384	1	1	13*13*384	(3*3*256)*384=885K
13*13*384	CONV4	3*3*384	384	1	1	13*13*384	(3*3*384)*384=1327K
13*13*384	CONV5	3*3*384	256	1	1	13*13*256	(3*3*384)*256=885K
13*13*256	MAXPOOL3	3*3		2	0
6*6*256	FC6					4096	(6*6*256)*4096=3775W
4096	FC7					4096	4096*4096=1678W
4096	FC8					1000	4096*4096=410W

AlexNet由5个卷积层和3个全链接组成，最后一个全连接层由softmax产生结果作为图片在1000个类别上的得分。

网络特点

• 使用ReLU作为激活函数；
• 使用多种方法防止过拟合：
  （1）数据增强：随即裁剪，上下、左右反转，平移，缩放，旋转等；
  （2）使用dropout。
  该网络以16.4%的top1分类误差在2012年的ILSVRC比赛中获得冠军。

end