正则化项作用、位置及思想原理

之前一直搞不太懂正则化项是什么东西，最近在看XGBOOST原理及李航的《统计学习方法》，根据《统计学习方法》中所说，目前大概有一个理解，先贴在下面。

思想原理：

正则化项简单来说是我们为了控制学习器（模型）的复杂度加入的一个惩罚项。
这个惩罚项加在目标函数里面。
比如我们的目标是目标函数最小化，那么我们如果模型很复杂，那么正则化项就会很大，从而来说达到我们最小化的目的就会很困难。所以要达到最小化的目的，在进行学习的时候模型就不能过于复杂。从而达到我们控制模型复杂程度的目的（奥卡姆剃刀原则）。
常见的目标函数表达式如下图：

正则化项存在的位置

红色就是损失函数 绿色是正则化项（注意没有系数）
这个方程式如果用文字表达的话就是：
min 目的为最优化模型输出结果的函数（损失函数）+目的为最小化模型复杂度的函数（正则化项）。
其中 λ>=0为调节正则化项和经验风险之间的系数。一般来说，模型越复杂，正则化值越大。

正则化其他表现形式

那好了，现在添加正则化项的目的和添加正则化项的位置我们都知道了。
正则化项是为了方便我们控制模型复杂度的，那么根据目标函数的形式，正则化项的形式也会发生改变。李航在书中还介绍了两种形式的正则化项：