机器学习——正则化

正则化

在机器学习学习中往往不知道需要不知道选取的特征个数，假如特征个数选取过少，容易造成欠拟合，特征个数选取过多，则容易造成过拟合。由此为了保证模型能够很好的拟合样本，同时为了不要出现过拟合现象，引入了一个正则项。

如图所示：

当选用特征过少时，函数的拟合程度如左边的图一样，不能很好的拟合

当选用特征适中时，函数的拟合程度如中间的图一样，可以比较好的拟合

当选用特征过多时，函数的拟合程度如右边的图一样，能够完全拟合样本，但是可能在测试数据上不佳。

当选用均方误差作为损失函数时

Loss function：$\sum (y-W{x}_i{)}^2$，当选择模型过于复杂时（即$W$维度过高，$X$特征过多时）损失函数往往趋近于0甚至等于0，能够很好的拟合样本但是不具有很好的泛化能力，所以为了降低模型的复杂度我们引入了一个正则项$\lambda W^{T}W$。即损失函数为$\sum (y-W{x}_i{)}^2+\lambda W^{T}W$。由此最小化损失函数时。会考虑模型的复杂度，保证模型不至于太复杂。

当存在一个样本$\mathbf{X}=\{{\mathbf{x}}_1,{\mathbf{x}}_2,\cdots ,{\mathbf{x}}_{\mathbf{n}}\}$，$y=a{x}^2+bx+c+\xi$，其中$\xi$为一个高斯噪声，

当选择模型：${\theta }_{1}x+{\theta }_2$时，模型无法很好的拟合样本

当选择模型：${\theta }_1{x}^2+{\theta }_{2}x+{\theta }_3$时，模型可以较好的拟合样本

当选择模型：${\theta }_1{x}^5+{\theta }_2{x}^4+{\theta }_3{x}^3+{\theta }_4{x}^2+{\theta }_{5}x+{\theta }_6$时，模型可以完全拟合样本，当引入正则项$\lambda W^{T}W$，可以保证$W$不至于太复杂，由此可以使${\theta }_1,{\theta }_2,{\theta }_3$足够小，不至于使给模型造成太大的影响，所以可以避免模型太过于复杂以至于过拟合。