深度学习中的正则化(一)、参数范数惩罚

参考 深度学习中的正则化 - 云+社区 - 腾讯云

一、正则化

没有免费午餐定理暗示我们必须在特定任务上设计性能良好的机器学习算法。我们建立一组学习算法的偏好来达到这个要求。当这些偏好和我们希望算法解决的学习问题吻合时，性能会更好。至此我们具体讨论修改学习算法的方法，只有通过增加或减少学习算法可选假设空间的函数来增加或减少模型的容量。所列举的一个具体示例是线性回归增加或减少多项式的次数。到目前为止讨论的观点都是过度简化的。

算法的效果不仅很大程度上受影响于假设空间的函数数量，也取决于这些函数的具体形式。我们已经讨论的算法(线性回归)具有包含其输入的线性函数集的假设空间。对于输入和输出确实接近线性相关的问题，这些线性函数是很有用的。对于完全非线性的问题它们不太有效。例如，我们用线性回归，从x预测sin(x)，效果不会好。因此我们可以通过两种方式控制算法的性能，一是允许使用的函数种类，二是这些函数的数量。在假设空间中，相比于某一个学习算法，我们可能更偏好另一个学习算法。这意味着两个函数都是符合条件的，但是我们更偏好其中一个。只有非偏好函数比偏好函数在训练数据集上效果明显好很多时，我们才会考虑非偏好函数。

例如，可以加入权重衰减(weight decay)来修改线性回归的训练标准。带权重衰减的线性回归最小化训练集上的均方误差和正则项的和可以看作拟合训练数据和偏好小权重范数之间的权衡。这会使得解决方案的斜率最小，或是将权重放在较少的特征上。我们可以训练具有不同值的高次多项式回归模型。

更一般地，正则化一个学习函数的模型，我们可以给代价函数添加被称为正则化项(regularizer)的惩罚。在权重衰减的例子中，正则化项是。表示对函数的偏好是比增减假设空间的成员函数更一般地控制模型容量的方法。我们可以将去掉假设空间中的某个函数看作对不赞成这个函数的无限偏好。在权重衰减的示例中，通过在最小化的空间中额外增加一项，我们明确地表示了偏好权重较小的线性函数。有很多其他方法隐式或显式地表示对不同解的偏好。总而言之，这些不同的方法都被称为正则化。正则化时指修改学习算法，使其降低泛化误差而非训练误差。正则化时机器学习领域的中心问题之一，只有优化能够与其重要性相提并论。没有免费午餐定理已经清楚地阐释了没有最优的学习算法，特别是没有最优的正则化形式。反之，我们必须挑选一个非常适合于我们所要解决的任务的正则形式。深度学习中普遍的理念是大量任务(例如所有人能做的只能任务)也许都可以使用非常通用的正则化形式来有效解决。

机器学习中的一个核心问题是设计不仅在训练数据上表现好，而且能在新输入上泛化的算法。在机器学习中，许多策略被显示地设计来减少测试误差(可能会增加训练误差为代价)，这些策略被统称为正则化。在实践中，过于复杂的模型族不一定包括目标函数或真实数据生成的过程，甚至也不包括近似过程。我们几乎从未知晓真实数据的生成过程，所以我们永远不知道被估计的模型族是否包含生成过程。然而，深度学习算法的大多数应用都是针对这样的情况，其中真实数据的生成过程几乎肯定在模型族之外。深度学习算法通常应用于记为复杂的领域，如图像、音频序列和文本，本质上这些领域的真实生成过程涉及模拟整个宇宙。从某种程度上来说，我们总是持方枘(数据生成过程)而欲内圆凿(模型族)。

这意味着控制模型的复杂度不是找到合适规模的模型(带有正则的参数个数)这样一个简单的事情。相反，我们可能会发现，或者说在实际的深度学习场景中我们几乎总是会发现，最好的拟合模型(从最小泛化误差的意义上)是一个适当正则化的大型模型。

二、深度学习中的正则化

1、参数范数惩罚

正则化在深度学习的出现前就已经被使用了数十年、线性模型，如线性回归和逻辑回归，可以使用简单、直接、有效的正则化策略。许多正则化方法通过对目标函数添加一个参数范数惩罚，限制模型(如神经网络、线性回归或逻辑回归)的学习能力。我们将正则化后的目标函数记为：

                                                      

其中是权衡惩罚项和标准目标函数相对贡献的超参数。将设为0表示没有正则化。越大，对应正则化惩罚越大。当我们的训练算法最小化正则化后的目标函数时，它会降低原始目标函数关于训练数据的误差并同时减小在某些衡量标准下参数(或参数子集)的规模。选择不同参数范数会偏好不同的解。在探究不同范数的正则化之前，需要说明一下，在神经网络中，参数包括每一层放射变换的权重和偏置，我们通常只对权重做惩罚而不对偏置做正则惩罚。精确拟合偏置所需的数据通常比拟合权重少得多，每个权重会指定两个变量如何互相作用。我们需要在各种条件下观察这两个变量才能良好地拟合权重。而每个偏置仅控制一个单变量。这意味着，我们不对其进行正则化也不会导致太大的方差。另外，正则化偏置参数可能会导致明显的欠拟合。因此，我们使用向量w表示所有应受范数惩罚影响的权重，而向量表示所有参数(包括w和无须正则化的参数)。在神经网络的情况下，有时希望对网络的每一层使用单独的惩罚，并分配不同的系数。寻找合适的多个超参数的代价很大，因此为了减少搜索空间，我们会在所有层使用相同的权重衰减。

1、参数正则化

这个正则化策略通过向目标函数添加一个正则项，使权重更加接近原点。也被称为岭回归正则化。我们可以通过研究正则化后目标函数的梯度，洞察一些权重衰减的正则化表现。为了简单期间，我们假定其中没有偏置参数，因此就是。这样一个模型具有以下总的目标函数：

                                                   

与之对应的梯度为

                                                 

使用单步梯度下降更新权重，即执行以下更新：

                                                 

换种写法就是

                                                

我们可以看到，加入权重衰减后会引起学习规则的修改，即在每部执行通常的梯度更新之前先收缩权重向量(将权重向量乘以一个常数因子)。这是一个单个步骤发生的变化。但是在训练的整个过程会发生什么呢？

我么进一步简化分析，令为为正则化的目标函数取得最小训练误差时的权重向量，即，并在的邻域对目标函数做二次近似。如果目标函数确实是二次的(如以均方误差拟合线性回归模型的情况)，则该近似是完美的。近似的如下

                                            

其中是在处计算的矩阵(关于)。因为被定义为最优，即梯度消失为0，所以该二次项近似中没有一阶项。同样地，因为是的一个最优点，我们可以得出是半正定的结论。

当取得最小值时，其梯度

                                           

为0。

为了研究权重衰减带来的影响，我们在上式中添加权重衰减的梯度。现在我们探讨最小正则化后的。我们使用变量表示此时的最优点：

                                           

                                           

                                           

当趋向于0时，正则化的解会趋向。那么当增加时会发生什么呢？因为是实对称的，所以我们可以将其分级为一个对角矩阵和一组特征向量的表征正交基，并且有，将其应用到上式并分解可得，

                                       

我们可以看到权重衰减的效果是沿着由的特征向量所定义的轴缩放。具体来说，我么会根据因子缩放与第个特征向量对齐的的分量。沿着特征值较大的方向(如)正则化的影响较小，而的分量将会收缩到几乎为零。只有在显著减小目标函数方向上的参数会保留相对完好。在无助于目标函数减小的方向(对应Hessian矩阵较小的特征值)上改变参数不会显著增加梯度。这种不重要方向对应的分量会在训练过程中因正则话而衰减掉。

目前为止，我们讨论了权重衰减对优化一个抽象通用的二次代价函数的影响。这些影响具体是怎么和机器学习关联的呢？我们可以研究线性回归。它的真实代价函数时二次的，因此我们可以使用相同的方法分析。再次应用分析，我们会在这种情况下得到相同的结果，但这次我们使用训练数据的术语表达。线性回归的代价是平方误差之和：

                                   

我们添加正则项后，目标函数变为

                                    

这将正则方程的解从

                                   

变为

                                   

2、正则化

 权重衰减是权重衰减最常见的形式，我们还可以使用其他的方法限制模型参数的规模。一个选择是使用正则化。形式地，对模型参数的正则化被定义为：

                                   

即各个参数的绝对值之和。接着我们将讨论正则化对简单线性回归模型的影响，与分析正则化时一样不考虑偏置参数。我们尤其感兴趣的是找出和正则化之间的差异。与权重衰减类似，我们也可以通过缩放惩罚项的正超参数来控制权重衰减的强度。因此，正则化的目标函数

                                  

对应的梯度(实际上是次梯度)：

                                 

其中sign(w)只是简单地取w各个元素的正负号。

观察上式，我么立刻发现的正则化效果与大不一样。具体来说，我们可以看到正则化对梯度的影响不再是线性地缩放每个：而是添加了一项同号的常数。使用这种形式的梯度之后，我们不一定能得到二次近似直接算术解(正则化时可以)。简单线性模型具有二次代价函数，我们可以通过泰勒级数表示。或者我们可以假设。这是逼近更复杂模型的代价函数的截断泰勒级数，在这个设定下，梯度有下式给出

                              

同样，是在处的Hessian矩阵。

由于惩罚项在完全一般化的Hessian的情况下，无法得到直接清晰的代数表达式，因此我们将进一步简化假设Hessian是对角的，即，其中每个。如果线性回归问题中的数据被预处理，除去了输入特征之间的相关性，那么这一假设成立。我们可以将正则化目标函数的二次近似分解成关于参数的求和：

                            

如下列形式的解析解(对每一维)可以最小化这个近似代价函数：

                          

 如下列形式的解析解(对每一维)可以最小化这个近似代价函数：

                           

最每个，考虑的情形，会有两种可能：

(1)得到情况。正则化后目标中的最优值是。这是因为在方向上对的贡献被抵消，正则化项将推至0。

(2)的情况。这这种情况下，正则化不会将的最优值推至0，而仅仅在那个方向上移动的距离。

相比正则化，正则化会产生更稀疏的解。此处稀疏性指的是最优值中的一些参数为0。和正则化相比，正则化的稀疏性具有本质的不同。如果我们使用Hessian矩阵为对角正定矩阵的假设(与正则化分析时一样)，重新考虑这个等式，会发现。如果不是零，那么也会保持非零。这表明不会使参数变得稀疏，而正则化可能有足够大的实现稀疏。由正则化导出的稀疏性质不会使参数变得稀疏，而有可能通过足够大的实现稀疏。由正则化导出的稀疏性质已经被广泛应用于特征选择机制。特征选择从可用的特征子集选择出有意义的特征，简化机器学习问题。从著名的LASSO模型将惩罚和线性模型结合，并使用最小二乘代价函数。惩罚使部分子集的权重为零，表明相应的特征可以被安全地忽略。