神经网络参数

神经网络参数调整方法主要有：1.如何初始化Weights和biases。2.loss函数选择哪一个。3.选择何种Regularization？L1,L2。4.Regularization parameter lambda 选择多大合适。5.激励函数如何选择。6.是否使用dropout。7训练集多大比较合适。8.mini-batch选择多大。9.学习率多少合适。10.选择何种梯度下降算法。11.何时停止Epoch训练

前前后后有十几个需要调节的参数，遵循一定的调参顺序在一定程度上可以减少工作量，训练一次神经网络需要挺长的时间，所以调参时要从最简单的网络结果开始。

1.首先使用最简单的网络结构：只包含输入层、输出层两层的神经网络。

训练集、验证集的个数要比较小，这样可以加快训练的速度，其他的参数先随便选择一个固定值。

2.调节学习步长ang

如果ang太大，可能造成越走越高，跳过局部最低点，但ang太小，学习的速度太慢。先不设置Regularization parameter lambda 的前提下，ang可以从0.001, 0.01, 0.1,1, 10开始尝试，如果发现loss开始增大，停止，进行更小的微调。如何发现ang=0.1时效果最好，这是在尝试ang=0.05和0.5两个值。 先随便选择一个ang值，比如10，训练得到最后的准确度，如果准确度不是很好，然后再使用ang=100，假如发现准确率不但每提高甚至下降了，可能就说明ang=10就有点大了，换成ang=1再训练一遍，发现效果有了明显提高，就说明ang=1比10更合适，用同样的方法不断的尝试，就可以得到一个不错的ang值。

3.选择合适的Epoch训练次数

如果随着Epoch的次数增加，准确度在一定时间内（比如5到10次）变化很小，就可以停止Epoch。开始时可以把Epoch次数设置的大一些，观察在哪个地方准确度变化很小，就把Epoch设置成几。

4.调节Regularization parameter lambda

实验lambda，从1.0,10,100…找到一个合适的。 注意：lambda的大小是和样本数成正比关系的，比如现在样本数、lambda分别是1000、0.4，以后把样本数扩大到10000时，对应的lambda也要扩大到4。

5.调节mini-batch size

mini-batch选择太小：没有充分利用计算资源；太大：更新权重和偏向比较慢，mini-batch size和其他参数相对独立，一旦找到一个合适的以后，就不需要再改了。

6.如何选择梯度下降算法

对于初学者，选择SGD就可以，

7.如何选择激励函数

如何选择激励函数，没有特别好的方法，只能靠实验比较。常用的激励函数有：

8.如何设置Weights和biases

最简单的方法：让W和b服从N(0, 1 / sqrt(n_in) )，n_in：输入神经元的个数，设置合适的W和b可以加快学习的速率，在极个别的神经网络中，W和b甚至可以影响最后训练的准确度。

9.选择何种Regularization

L1和L2是对cost函数后面增加一项。L1和L2都是为了减少连接对cost影响的权重，但是L1和L2又存在一定的区别。L1减少的是一个常量，L2减少权重的一个固定比例，如果权重本身很大，L1减少的比L2少很多，反之，如果权重本省很小，L1减少的更多。L1倾向于集中在少部分重要的连接上。 注意：对于L1，当W=0时，cost关于W的偏导没有意义，因为在W=0时不可导，此时就使用un-regulazied表达式，sgn(0)=0，本来regularization的目的就是减少权重，到权重=0时，就没有必要再减少。

10.是否使用dropout

和L1、L2 regularization不同，dropout并不对cost增加项，而是对神经网络本身的结果做改变。

11.训练集多大比较合适

一句话，训练集越大越好，增加训练集在一定程度上也可以减少过拟合

————————————

今天我们会来说说用于减缓过拟合问题的 L1 和 L2 regularization 正则化手段.

注: 本文不会涉及数学推导. 大家可以在很多其他地方找到优秀的数学推导文章.

因为本文原作是一段短视频介绍.

所以首先放视频链接: Youtube 或者 优酷.

也可以在这个网页找到其他很多相关内容: 莫烦 Python

 

过拟合

我们知道, 过拟合就是所谓的模型对可见的数据过度自信, 非常完美的拟合上了这些数据, 如果具备过拟合的能力, 那么这个方程就可能是一个比较复杂的非线性方程 , 正是因为这里的 x^3 和 x^2 使得这条虚线能够被弯来弯去, 所以整个模型就会特别努力地去学习作用在 x^3 和 x^2 上的 c d 参数. 但是我们期望模型要学到的却是 这条蓝色的曲线. 因为它能更有效地概括数据.而且只需要一个 y=a+bx 就能表达出数据的规律. 或者是说, 蓝色的线最开始时, 和红色线同样也有 c d 两个参数, 可是最终学出来时, c 和 d 都学成了0, 虽然蓝色方程的误差要比红色大, 但是概括起数据来还是蓝色好. 那我们如何保证能学出来这样的参数呢? 这就是 l1 l2 正则化出现的原因啦.

L1 L2 Regularization

对于刚刚的线条, 我们一般用这个方程来求得模型 y(x) 和 真实数据 y 的误差, 而 L1 L2 就只是在这个误差公式后面多加了一个东西, 让误差不仅仅取决于拟合数据拟合的好坏, 而且取决于像刚刚 c d 那些参数的值的大小. 如果是每个参数的平方, 那么我们称它为 L2正则化, 如果是每个参数的绝对值, 我们称为 L1 正则化. 那么它们是怎么样工作的呢?

核心思想

我们拿 L2正则化来探讨一下, 机器学习的过程是一个 通过修改参数 theta 来减小误差的过程, 可是在减小误差的时候非线性越强的参数, 比如在 x^3 旁边的 theta 4 就会被修改得越多, 因为如果使用非线性强的参数就能使方程更加曲折, 也就能更好的拟合上那些分布的数据点. Theta 4 说, 瞧我本事多大, 就让我来改变模型, 来拟合所有的数据吧, 可是它这种态度招到了误差方程的强烈反击, 误差方程就说: no no no no, 我们是一个团队, 虽然你厉害, 但也不能仅仅靠你一个人, 万一你错了, 我们整个团队的效率就突然降低了, 我得 hold 住那些在 team 里独出风头的人. 这就是整套正规化算法的核心思想. 那 L1, L2 正则化又有什么不同呢?

图像化

想象现在只有两个参数 theta1 theta2 要学, 蓝色的圆心是误差最小的地方, 而每条蓝线上的误差都是一样的. 正则化的方程是在黄线上产生的额外误差(也能理解为惩罚度), 在黄圈上的额外误差也是一样. 所以在蓝线和黄线 交点上的点能让两个误差的合最小. 这就是 theta1 和 theta2 正则化后的解. 要提到另外一点是, 使用 L1 的方法, 我们很可能得到的结果是只有 theta1 的特征被保留, 所以很多人也用 l1 正则化来挑选对结果贡献最大的重要特征. 但是 l1 的结并不是稳定的. 比如用批数据训练, 每次批数据都会有稍稍不同的误差曲线,

L2 针对于这种变动, 白点的移动不会太大, 而 L1的白点则可能跳到许多不同的地方 , 因为这些地方的总误差都是差不多的. 侧面说明了 L1 解的不稳定性

统一表达形式

最后,为了控制这种正规化的强度, 我们会加上一个参数 lambda, 并且通过 交叉验证 cross validation 来选择比较好的 lambda. 这时, 为了统一化这类型的正则化方法, 我们还会使用 p 来代表对参数的正则化程度. 这就是这一系列正则化方法的最终的表达形式啦.

————————

一、什么是dropout

dropout(随机失活):dropout是通过遍历神经网络每一层的节点，然后通过对该层的神经网络设置一个keep_prob(节点保留概率)，即该层的节点有keep_prob的概率被保留，keep_prob的取值范围在0到1之间。通过设置神经网络该层节点的保留概率，使得神经网络不会去偏向于某一个节点(因为该节点有可能被删除)，从而使得每一个节点的权重不会过大，有点类似于L2正则化，来减轻神经网络的过拟合。

二、dropout的工作原理

下图是一个三层的神经网络，接下来主要通过这个神经网络来介绍dropout的工作原理

 

dropout的工作原理主要可以分为3步：

1、遍历神经网络的每一层节点，设置节点保留概率keep_prob，假设keep_prob=0.5

2、删除神经网络的节点，并删除网络与移除节点之间的连接

 

3、输入样本，使用简化后的网络进行训练，每次输入样本的时候都要重复这三步。

三、Inverted dropout(反向随机失活)的实现

下面我们对之前的四层的神经网络的第三层来使用inverted dropout，来对神经网络的第三层使用dropout，实现inverted dropout主要分为四步：

1、第三层网络的网络节点用a3表示，使用a3的shape来产生一个0到1的随机矩阵。

2、设置keep_prob(0到1)的大小，keep_prob表示该层节点保留的概率。对于第一步产生的随机矩阵与keep_prob进行比较，小于为1，大于为0。1表示保留该节点，0表示删除节点。

3、将a3与0和1的矩阵相乘(这里是普通的乘法，不是矩阵相乘)，得到新的网络节点a3。

4、对输出的a3矩阵除以keep_prob，即a3 /= keep_prob，这一步是最关键的。将a3除以keep_prob的目的是保证a3的期望值(均值)不变，从而保证第三层的输出不变。

注意：dropout在测试阶段不需要使用，因为如果在测试阶段使用dropout可能会导致预测值产生随机变化(因为dropout使节点随机失活)。而且，在训练阶段已经将权重参数除以keep_prob来保证输出的期望值不变，所以在测试阶段没必要再使用dropout。

四、dropout能达到正则化的效果

1、使用dropout可以使得部分节点失活，可以起到简化神经网络结构的作用，从而起到正则化的作用。

2、因为dropout是使得神经网络的节点随机失活，这样会让神经网络在训练的时候不会使得某一个节点权重过大。因为该节点输入的特征可能会被清除，所以神经网络的节点不能依赖任何输入的特征。dropout最终会产生收缩权重的平方范数的效果，来压缩权重，达到类似于L2正则化的效果。

注意：神经网络的不同层在使用dropout的时候，keep_prob可以不同。因为可能有的层参数比较多，比较复杂，keep_prob可以小一些，而对于结构比较简单的层,keep_prob的值可以大一些甚至为1，keep_prob等于1表示不使用dropout，即该层的所有节点都保留。