alexnet

接下来本文将一步步对该网络配置结构中各个层进行详细的解读（训练阶段）：

1. conv1阶段DFD（data flow diagram）：

2. conv2阶段DFD（data flow diagram）：

3. conv3阶段DFD（data flow diagram）：

4. conv4阶段DFD（data flow diagram）：

5. conv5阶段DFD（data flow diagram）：

6. fc6阶段DFD（data flow diagram）：

7. fc7阶段DFD（data flow diagram）：

8. fc8阶段DFD（data flow diagram）：

架构

ReLU

一句话概括：不用simgoid和tanh作为激活函数，而用ReLU作为激活函数的原因是：加速收敛。
因为sigmoid和tanh都是饱和(saturating)的。何为饱和？个人理解是把这两者的函数曲线和导数曲线plot出来就知道了：他们的导数都是倒过来的碗状，也就是，越接近目标，对应的导数越小。而ReLu的导数对于大于0的部分恒为1。于是ReLU确实可以在BP的时候能够将梯度很好地传到较前面的网络。

Local Responce Normalization

一句话概括：本质上，这个层也是为了防止激活函数的饱和的。
个人理解原理是通过正则化让激活函数的输入靠近“碗”的中间，从而获得比较大的导数值。
所以从功能上说，跟ReLU是重复的。
不过作者说，从试验结果看，LRN操作可以提高网络的泛化能力，将错误率降低了大约1个百分点。

Overlapping Pooling

一句话概括，从试验结果看，作者认为Overlapping之后，能够减少网络的过拟合。

Overall Architecture

一句话概括，5个卷积层+3个全连接层+1个softmax层。在第1，2，5个卷积层后加了一个LRN和Max Pooling。

Reducing Overfitting

Data Augmentation

用了两种方法：

1. 随机crop。训练时候，对于256＊256的图片进行随机crop到224＊224，然后允许水平翻转，那么相当与将样本倍增到((256-224)^2)*2=2048。测试时候，对左上、右上、左下、右下、中间做了5次crop，然后翻转，共10个crop，之后对结果求平均。作者做，不做随机crop，大网络基本都过拟合(under substantial overfitting)。
2. 对RGB空间做PCA，然后对主成分做一个(0, 0.1)的高斯扰动。结果让错误率又下降了百分一。

dropout

一句话概括，在第1，2个全连接层后面加入了dropout后，能够防止过拟合。不加，也是会under substantial overfitting的。

Detail of learning

• batch: 128
• momenttum: 0.9
• weight decay: 0.0005
• init the weights: Guassian(0, 0.01)
• init the bias: constant 1 or constant 0
• learning rate: 0.01, divide by 10 while valid error rate stopped improving

Result

主要看ILSVRC-2012的结果。
文中模型top1 40.7%，top5 18.2%
五个模型平均出来后是top1 38.1%和top5 16.4%

Discussion

• 模型没有用到unsupervised pre-training
• 如果删去任何一个卷积层，top1 error会升高2%左右

#CNN #Computer Vision

在机器学习中，我们通常要考虑的一个问题是如何的“以偏概全”，也就是以有限的样本或者结构去尽可能的逼近全局的分布。这就要在样本以及结构模型上下一些工夫。

在一般的训练任务中，考虑的关键问题之一就是数据分布是否合理：首先是数据集的覆盖度，也就是数据集是否能够覆盖样本空间；其次还要尽可能的保证具有和真实数据一样的分布（注意数据分布是未知的，你只能根据一些先验来近似），这样的数据才是有效的。当然这些方式只是增大了得到正确解的概率，而并不能保证一定可以得到正确解。当你不知道你所取的训练集合是否和真实分布一致的时候，那么就要多取几次，每一个数据集都算算，对于分类器也是这样，单个分类器往往不能精确描述一个分界面，那么我们就组合一下，每个都算算。从方法论上讲，对于事物观察到的往往是局部，因此会犯以偏概全的错误，如果能够将所得到的“偏” ensambling 一下，那么就生成了相对的“全”，从而可以更大的概率逼近总体分布。这种思想在好多方面都体现出来，如交叉验证，经典的RANSAC，Random Tree（forest），Adaboost 等方法。

下面将从数据和模型两个方面来学习一下AlexNet中的一些技巧，主要参考的是Alex 2012 年的 NIPS论文ImageNet classification with deep convolutional neural networks.
 
1. 数据的处理：

到目前为止，还没有人看到数据集的大小对deeplearning算法理论上限造成的影响，也就是说数据集合还没有达到临界点，所以增加数据集只有好处，没有坏处。

在Alex的论文中，采用了两个方法对于图像进行了增强。

a. 增大训练样本：通过对于图像的变换实现了对于数据集合的enlarge。首先对于输入的图像（size 256*256）随机提取224*224的图像集合，并对他们做一个horizontal reflections。变换后图像和原图像相差了32个像素，因此主体部分应该都包含在训练集合中，相当于在位置这个维度上丰富了训练数据。对horizontal reflections来说，相当于相机在主轴方向做了镜像，丰富了反方向的图像。数据集合增大了2048倍，直接结果就是降低了overfitting同时降低了网络结构设计的复杂层度。

在测试阶段，取每一个测试样本四个角以及中间区域，一共5个patch然后再镜像后得到10个样本输入到网络中，最后将10个softmax输出平均后作为最后的输出。

b.使用PCA对于训练数据进行增强：对于每一个RGB图像进行一个PCA的变换，完成去噪功能，同时为了保证图像的多样性，在eigenvalue上加了一个随机的尺度因子，每一轮重新生成一个尺度因子，这样保证了同一副图像中在显著特征上有一定范围的变换，降低了overfitting的概率。

以上的策略是不是真的有必要，这个还是要打一个问号，因为对于a部分来说，样本少，可以在结构设计上下下功夫，可能达到相同的效果。对于b来说，deeplearning还需要对于图像加入增强处理吗？如果这样的话，自然也可以用一些传统人工特征先来一遍，再deeplearning了。我想关键的原因是deeplearning还没有真正的被证明的规则，所以你用什么策略都有点道理，但是谁敢保证不是“以偏概全”呢？

2. 模型结构：

在模型的设计上，AlexNet做了一个Local Response Normalization的处理，同时在节点的选择上采用了一个dropout策略。

a. Local Response Normalization.

公式如下，其中a是每一个神经元的激活，n是在同一个位置上临近的kernel map的数目，N是可kernel的总数目，k，alpha，beta都是预设的一些hyper-parameters，其中k=2，n=5，alpha = 1*e-4，beta = 0.75。



从这个公式中可以看出，原来的激活a被加一个归一化权重（分母部分）生成了新的激活b，相当于在同一个位置（x，y），不同的map上的激活进行了平滑，但是至于为什么k，alpha，beta这样来设置，没有想太清楚。

这个平滑大概可以将识别率提高1-2个百分点。

b. Dropout策略

使用多个model来共同进行预测是一个降低test errors的基本方法，但是单独的训练多个model组合会导致整个的训练成本增加，毕竟训练一个单一的网络需要很长的时间，即便计算资源足够，在不影响精度的情况下降低整个运算时间还是我们追求的目标。

由此Hinton提出了dropout策略，这个策略很简单，对于每一个隐层的output，以50%的概率将他们设置为0，不再对于forward或者backward的过程起任何作用。对于每一个input来说，使用的不同的网络结构，但是权重是共享的。这样求得的参数能够适应不同的情况下的网络结构，也就是提高了系统的泛化能力。

在AlexNet中最后的两个full-connected层中使用了这个策略。

3. 优化算法的参数

论文中使用SGD算法，基本参数设置在前面优化算法的总结中已经提到了。这里要说几个个人体会。

 a. 原文中输入的batch数目是256，应该Alex经过调节后的结果，我实际用到的机器性能比较低，内存8G，显存4G，所以不得不就将batch数目往下调到64，以免产生out of memory的错误。这样就需要调节其他的参数来保证数据的收敛。原因是batch比较小，导致本文开篇提到的样本覆盖面过低，产生了非常多的局部极小点，在步长和方向的共同作用下，导致数据产生了震荡，导致了不收敛。

b.在这种情况下，把learning rate调节到了0.02，相当于加大了步长，这样可以在一定程度上避免震荡，可以越过局部极小点往比较大的极值点行走。

c. 对于每一层的bias从1设置为了0.1，在一定程度上限制了激活的大小，这样就限制了某一过大的误差的影响，这样可以避免迭代方向出现过大的变化。

d. 经过b c后，系统终于收敛了，但带来的不良后果就是整个收敛速度变慢，因此还需要增加最大迭代次数，经过测试迭代次数成了从45w修改成了70w。

e. 在整个运行过程中，出现了几次平稳点，20w以及40w左右的时候，因此迭代的learning rate应该随着迭代的接近平稳点的时候有意的减小一些，目前是以每10w次减小为1/10，调参数用了5天，最后运行时间为15天。

f. 关于调参策略，上面只是按照一些简单的理解设置的，如果没有一个合理的解释，调参就变成了一个很low的工作。还好发现了好几篇关于调参的论文，主要是优化算法理论方面的，学习完再回来测试一下。