正则化和范数

预备知识

在深度学习中，模型的参数优化可以看做最大后验估计，损失函数即为似然函数。所谓正则化，可以视为给予了模型参数估计的一个先验知识。而似然函数*先验信息即为最大后验估计。
$${\theta }^{\ast }=argma{x}_{\theta }(\prod _{i}P(Y_i|X_i,\theta )\prod _{i}P({\theta }_i))=argmi{n}_{\theta }(\sum _i||f(X_i)-Y_i|{|}^2+\sum _i\text{ln}P({\theta }_i))$$

L0范数

L0范数统计向量中非0元素的个数，非0元素越少，意味着越稀疏。模型越稀疏，则过拟合的风险越低，同时可以提高模型的可解释性。

L1正则化

L1范数是L0范数的最优凸近似，比L0范数更利于优化求解。由于L1范数在0值处不可微，所以L1正则化会趋向于让参数=0。L1正则化在损失函数中的形式表现为，在原损失函数上加上权重参数$w$的绝对值，这相当于赋予$w$拉普拉斯先验，如果$\lambda$越大，则$w$的分布越集中在0附近。
$$P({\theta }_i)=\frac{\lambda }{2}\text{exp}(-\lambda |{\theta }_i|)$$

L2正则化

L2正则化又叫做岭回归，也叫作权重衰减。L2正则化会让参数趋向于0，在损失函数中的形式表现为，在原损失函数上加上权重参数$w$的平方，这相当于赋予$w$高斯先验。
$$P({\theta }_i)=\frac{\lambda }{\sqrt{\pi }}\text{exp}(-\lambda ||{\theta }_i|{|}^2)$$

为什么参数越小越好

原因有二，一是奥卡姆剃刀原则，参照百度百科，可用八个字概括——“如无必要，勿增实体”；二是：在模型发生过拟合时，会导致模型在一个小区间，输出存在剧烈变化。这意味着，模型在这个小区间内的导数值很大，而导数值由权重参数$w$决定，“大导数值”可以一定程度上等价于“大$w$”。也就是说，“大$w$”会导致过拟合，从而$w$越小越好。