深度学习第三讲之防止过拟合提高模型泛化能力

欢迎关注鄙人公众号，技术干货随时看！

技术交流qq群： 659201069

鄙人的新书《elasticsearch7完全开发指南》，欢迎订阅！

https://wenku.baidu.com/view/8ff2ce94591b6bd97f192279168884868762b8e7

《kibana权威指南》

https://wenku.baidu.com/view/24cfee1ce43a580216fc700abb68a98270feac21

转载请注明出处

在训练数据不够多时，或者overtraining时，常常会导致overfitting（过拟合）。其直观的表现如下图所示，随着训练过程，网络在training data上的error渐渐减小，但是在验证集上的error却反而渐渐增大——因为训练出来的网络过拟合了训练集，对训练集外的数据却不work。常见的防止模型过似合的方法有DropOut和正则化，两者中最常用的是后者，tensorlfow对去线性化激活函数提供的非常友的支持，可以方更的用于工程开发。下面分别做详细介绍
　　

DropOut（移除一部分神经元）

“神经网络之父”Hinton认为过拟合，可以通过阻止某些特征的协同作用来缓解。在每次训练的时候，每个神经元有百分之50的几率被移除，这样可以让一个神经元的出现不应该依赖于另外一个神经元。

dropout 的过程好像很奇怪，为什么说它可以解决过拟合呢？（正则化）

取平均的作用： 先回到正常的模型（没有dropout），我们用相同的训练数据去训练5个不同的神经网络，一般会得到5个不同的结果，此时我们可以采用 “5个结果取均值”或者“多数取胜的投票策略”去决定最终结果。（例如 3个网络判断结果为数字9,那么很有可能真正的结果就是数字9，其它两个网络给出了错误结果）。这种“综合起来取平均”的策略通常可以有效防止过拟合问题。因为不同的网络可能产生不同的过拟合，取平均则有可能让一些“相反的”拟合互相抵消。dropout掉不同的隐藏神经元就类似在训练不同的网络（随机删掉一半隐藏神经元导致网络结构已经不同)，整个dropout过程就相当于 对很多个不同的神经网络取平均。而不同的网络产生不同的过拟合，一些互为“反向”的拟合相互抵消就可以达到整体上减少过拟合。
　　减少神经元之间复杂的共适应关系： 因为dropout程序导致两个神经元不一定每次都在一个dropout网络中出现。（这样权值的更新不再依赖于有固定关系的隐含节点的共同作用，阻止了某些特征仅仅在其它特定特征下才有效果的情况）。 迫使网络去学习更加鲁棒的特征 （这些特征在其它的神经元的随机子集中也存在）。换句话说假如我们的神经网络是在做出某种预测，它不应该对一些特定的线索片段太过敏感，即使丢失特定的线索，它也应该可以从众多其它线索中学习一些共同的模式（鲁棒性）。（这个角度看 dropout就有点像L1，L2正则，减少权重使得网络对丢失特定神经元连接的鲁棒性提高）
　　（还有一个比较有意思的解释是，Dropout类似于性别在生物进化中的角色：物种为了生存往往会倾向于适应这种环境，环境突变则会导致物种难以做出及时反应，性别的出现可以繁衍出适应新环境的变种，有效的阻止过拟合，即避免环境改变时物种可能面临的灭绝。 当地球都是海洋时，人类是不是也进化出了再海里生活的能力呢？）

去线激活函数

常用的去线性激活函数有ReLU、sigmoid、tanh，下面分别做出详细介绍

ReLU 的优点：
　　发现使用 ReLU 得到的SGD的收敛速度会比 sigmoid/tanh 快很多。相比于 sigmoid/tanh，ReLU 只需要一个阈值就可以得到激活值，而不用去算一大堆复杂的运算。下图是ReLU的函数图像，些函数是常用的正则化函数

就如我们所猜想的那样，ReLU仅仅是分段线性函数，并不是一个非线性的函数，所以实际上，他得以拟合函数的原理其实并不像sigmoidal类的函数，是作为一个函数逼近器。其实上，他只是通过ReLU在f(0)=0的函数性质的突变(由恒等函数到突然消失，恒为0)，来取得一个将一个函数分段的效果。实际上，如果我们仅仅使用ReLU来进行拟合，最后得到的是一个极其复杂的分段函数，所以实际上，比起函数逼近器，他更适合被称作函数分割器。在后面的博文中，我会具体用例子阐述这个过程。
　　可以看到，我们最后你拟合的直线大概是由a-b+c组成的。也就是说，通过ReLU，我们能够得到的不是一个严格的曲线，而是一个分段线性的函数。大家再仔细看这三只ReLU的分段点（也就是由恒为0到变成恒等函数的地方），与其对应的就是我们最终拟合分段线性函数的分段点。。
　　当我们的神经元个数越多，这个分段就能够被分得越细，可以想象，当我们拥有无穷多个整流单元进行线性组合，可以表达出任意我们想要的非线性函数。所以说，ReLU与其说是一个在做一个逼近，不如说是在做一个分段。

sigmoid的优点：
　　输出范围有限在(0, 1)，单调连续，非常适合用作输出层，并且求导比较容易。当然也有相应的缺点，就是饱和的时候梯度太小。函数公式及图像如下：
　　
　　
　

sigmoid在指数函数族（Exponential Family）里面是标准的bernoulli marginal，而exponential family是一个给定数据最大熵的函数族，在线性产生式模型（generative model）里面是属于「最优」的一类。直观理解是熵大的模型比熵小的更健壮（robust），受数据噪声影响小。

tanh函数优点：

双曲正切函数（tanh）与sigmoid非常接近，且与后者具有类似的优缺点。tf.sigmoid和tf.tanh的主要区别在于后者的值域为[-1.0，1.0]。公式及函数图像如下：
　　

tensorflow对去线性化激活函提供了非常友好的支持：

#x为当前神经元输放，w1为参数矩阵，biases为偏置项
y = tf.nn.relu(tf.matmul(x,w1) + biases)
y = tf.nn.sigmoid(tf.matmul(x,w1) + biases)
y = tf.nn.tanh(tf.matmul(x,w1) + biases)