卷积神经网络进阶学习（一）

AlexNet

网络结构
1.输入：224224，3通道的图像(rgb)
第一层卷积是：1111的卷积核，96个，stride(步长)=4，而输出大小=（输入大小(224)-卷积核(11)+padding）/stride +1 = 55;参数数目 = 3111196
2.第二层卷积是：55的卷积核一共256个
3.第二层max_pooling：2*2
4.第一层的全连接和第二层都为：4096
softmax：1000为概率值
5.AlexNet是首次使用Relu的模型，速度比sigmod要快
6.2-GPU并行结构，部分卷积层后跟随max-pooling层
7.全连接层应用dropout（把一些神经元置零，且这一行为是随机的），为的就是防止过拟合（参数过多而样本过少）的问题，提高了模型的泛化能力。dropout解释：每次都相当于训练了一个子网络，最后结果就是相当于很多子网络组合。也消除了神经单元之间的依赖。
8.图片进行了随机采样（如[256,256]采样了[224,224]）,即数据增强
9.dropout=0.5;Batch size = 128; SGD momentum=0.9;learning rate = 0.01,一定次数之后改为0.1