alexnet笔记（ImageNet Classification with Deep Convolutional Neural Networks）

笔记一定要在看过paper的基础上再学习，切记！！！
我建议paper看至少两遍吧，我都是这样做的，每一遍都有不同的收获~

---

之前学习这篇paper的时候在有道云笔记里就做了笔记，不想再写一遍啦，直接附上笔记分享地址

paper下载地址

---

还是写了一遍，当然内容不大相同啦，建议都看看，加深印象哈哈

---

摘要：
6千万参数，65万神经元
5个卷积层（其中一些层后面跟着pooling层）+ 3层全连接层（其中最后一层是1000路的softmax层）
ReLU的使用（非饱和）
GPU的使用（加速）
dropout的使用（正则化方法）
15.3%的top-5测试集错误率

---

1 介绍：
大数据集ImageNet（15000000张图片，22000个类别）
优化了GPU对2D卷积的实现
深度很重要

---

2 数据集：
训练集（120万张图片）
验证集（5万张图片）
测试集（15万张图片）
图片大小是256x256
只对图片像素进行了零均值化处理

---

3 结构：
1）ReLU（非饱和、非线性）收敛速度比tanh快6倍
2）两块GPU（GTX 580 3GB），只在第三层时候交叉
3）局部相应标准化（有一个稍微复杂点的公式，有几个需要用验证集训练出来的超参数）
4）交叉的pooling层（核大小是3x3，步长是2）
5）整体结构：局部相应标准化层（LRN层）只在第1，2卷积层之后，maxpooling层在LRN层和第5卷积层之后，ReLU在每一层都用到，直接看下图比较清楚。

---

4 降低过拟合：
论文用到两个主要的方法
1）数据增强
第一种方式是：从256x256的图片中提取224x224的小patch，并水平翻转，这样训练集就变成原来的2048倍。测试时，从四个角和中心提取224x224的小patch，并水平翻转，对这10个图片的输出结果取平均做出最终的预测。
第二种方式是：调整训练集图片RGB通道的亮度（PCA）
2）dropout（0.5）分享权重，降低神经元的互适应性，测试时，所有神经元都用上，输出乘以0.5。在全连接层的前两层用dropout

---

5 学习的细节：
随机梯度下降：batch size = 128 momentum = 0.9 weight decay = 0.0005
权重初始化：N(0,0.01)
第2，4，5卷积层和全连接层的偏置初始化为常数1
其他层的偏置初始化为常数0
学习率初始化为0.01，当验证集的错误率不再增加时，学习率除以10
对120万训练集图片，一共训练了90遍

---

6 结果：
这一部分没什么可说的，就是和之前的一些方法比较以及model ensemble的非常棒的效果

---

7 讨论：
深度很重要
为了简化实验，我们没有用非监督来预训练，但我们预期这样会产生更好的结果
网络更大训练时间更长时，效果也会提升