统计学习方法-李航（2）

如何对经验风险进行矫正

在现实中，由于训练样本数目有限，甚至很小，所以用经验风险估计期望风险往往不理想，要对经验风险进行一定的矫正。这就关系到监督学习的两个策略：经验风险最小化和结构风险最小化。

经验风险最小化（ERM）

经验风险最小的模型就是最优的模型
$$min\frac{1}{N}\sum _{i=1}^{N}L(y_i,f(x_i))$$
其中，$F$是假设空间。
在样本容量足够大时，经验风险最小化能保证很好的学习效果。比如：极大似然估计。当模型是条件概率分布，损失函数是对数损失函数时，经验风险最小化就等价于极大似然估计。

缺点

当样本容量很小时，经验风险最小化学习的效果未必好，会产生过拟合（ove-fitting）

结构风险最小化

是为了防止过拟合而提出的，结构风险最小化等价于正则化。
结构风险在经验风险上加上表示模型复杂度的正则化项或罚项。
$$R_{srm}=\frac{1}{N}\sum _{i=1}^{N}L(y_i,f(x_i))+\lambda J(f)$$
其中$J(f)$是模型的复杂度，是定义在假设空间$F$上的泛函。模型$f$越复杂，复杂度$J(f)$越大。$\lambda \ge 0$是系数，用以权衡经验风险和模型的复杂度。
贝叶斯估计中的最大后验概率就是结构风险最小化的一个例子。当模型是条件概率分布、损失函数是对数函数、模型复杂度由模型的先验概率表示时，结构风险最小化等价于最大后验概率估计。
结构风险最小化模型是最优的模型。
$$min\frac{1}{N}\sum _{i=1}^{N}L(y_i,f(x_i))+\lambda J(f)$$
这时，监督学习问题就变成了经验风险或结构风险函数的最优化问题。

极大似然估计和贝叶斯估计（PR）

极大似然估计

贝叶斯估计