深度学习中的调参经验
调参其实就是trial-and-error，没有其他捷径可以走。快速尝试, 快速纠错这是调参的关键。
目录
常用的调参经验：
自动调参方法：
这是一个很好的链接, 说明了如何从零开始不断的trial-and-error(其实这里面没遇到什么error):
Using convolutional neural nets to detect facial keypoints tutorial
常用的调参经验：
1.预处理
mean/std zero-center就够了，PCA、白化什么的都用不上。反正CNN能学习encoder，PCA用不用其实关系不大，大不了网络里面自己学习出来一个。
2.shuffle
3.理解网络的原理。比如 CNN的conv这块, 要明白sobel算子的边界检测。
4.Dropout
不仅可以防止过拟合，也相当于做人力成本最低的Ensemble。当然，训练起来会比没有Dropout的要慢一点，同时最好相应加一点网络参数。
5.CNN更加适合训练回答是否的问题，如果任务比较复杂，考虑先用分类任务训练一个模型再finetune。
6.用ReLU(CV领域).
7.用3x3（卷积核）。
8.用xavier。
9.LRN一类的，其实可以不用。不行可以再拿来试试看。
10.filter数量2^n。
11.多尺度的图片输入(或者网络内部利用多尺度下的结果)有很好的提升效果。
12.第一层的filter，数量不要太少。否则根本学不出来(底层特征很重要)。
13.sgd adam 这些选择上，看你个人选择.。一般对网络不是决定性的。反正我一般用sgd + momentum。
14.batch normalization我一直没用，虽然我知道这个很好，我不用仅仅是因为我懒。所以要鼓励使用batch normalization。
15.不要完全相信论文里面的东西。结构什么的觉得可能有效果，可以拿去试试。
16.你有95%概率不会使用超过40层的模型。
17.shortcut的联接是有作用的。
18.Google的inception论文，结构要好好看看。
19.一些传统的方法，要稍微了解了解。我自己的程序就用过1x14的手写filter，写过之后你看看inception里面的1x7、7x1 就会会心一笑...
自动调参方法：
（1）Grid Search：网格搜索，在所有候选的参数选择中，通过循环遍历，尝试每一种可能性，表现最好的参数就是最终的结果。其原理就像是在数组里找最大值。缺点是太费时间了，特别像神经网络，一般尝试不了太多的参数组合。
（2）Random Search：经验上，Random Search比Gird Search更有效。实际操作的时候，一般也是先用Gird Search的方法，得到所有候选参数，然后每次从中随机选择进行训练。另外Random Search往往会和由粗到细的调参策略结合使用，即在效果比较好的参数附近进行更加精细的搜索。
（3）Bayesian Optimization：贝叶斯优化，考虑到了不同参数对应的 实验结果值，因此更节省时间，贝叶斯调参比Grid Search迭代次数少， 速度快；而且其针对非凸问题依然稳健。
经验参数
这里给出一些参数的经验值，避免大家调参的时候，毫无头绪。
1.learning rate: 1、0.1、0.01、0.001。
一般从1开始尝试。很少见learning rate大于10的。学习率一般要随着训练进行衰减。衰减系数一般是0.5。衰减时机，可以是验证集准确率不再上升时，或固定训练多少个周期以后。
不过更建议使用自适应梯度的办法，例如adam、adadelta、rmsprop等，这些一般使用相关论文提供的默认值即可，可以避免再费劲调节学习率。
对RNN来说，有个经验，如果RNN要处理的序列比较长，或者RNN层数比较多，那么learning rate一般小一些比较好，否则有可能出现结果不收敛，甚至Nan等问题。
2.网络层数：先从1层开始。
3.每层结点数：16、32、128。超过1000的情况比较少见。超过1W的从来没有见过。
4.batch size: 128上下开始。
batch size值增加，的确能提高训练速度。但是有可能收敛结果变差。如果显存大小允许，可以考虑从一个比较大的值开始尝试。因为batch size太大，一般不会对结果有太大的影响，而batch size太小的话，结果有可能很差。
5.clip c(梯度裁剪)：
限制最大梯度，其实是value = sqrt(w1^2+w2^2….)，如果value超过了阈值，就算一个衰减系系数，让value的值等于阈值：5、10、15。
6.dropout：0.5。
7.L2正则：1.0，超过10的很少见。
8.词向量embedding大小：128、256。
9.正负样本比例：这个是非常忽视，但是在很多分类问题上，又非常重要的参数。
很多人往往习惯使用训练数据中默认的正负类别比例，当训练数据非常不平衡的时候，模型很有可能会偏向数目较大的类别，从而影响最终训练结果。除了尝试训练数据默认的正负类别比例之外，建议对数目较小的样本做过采样，例如进行复制。提高他们的比例，看看效果如何，这个对多分类问题同样适用。
在使用mini-batch方法进行训练的时候，尽量让一个batch内，各类别的比例平衡，这个在图像识别等多分类任务上非常重要。
参考资料：
https://www.zhihu.com/question/25097993
https://zhuanlan.zhihu.com/p/24720954