《统计学习方法》学习笔记（1）—— 统计学习三要素

本文主要参考书籍为《统计学习方法》（李辉），第一章 统计学习方法概论。

目录

1.1 统计学习

1.3 统计学习三要素——模型、策略、算法

1.3.1 模型——所要学习的条件概率分布或决策函数

1.3.2 策略

1.3.2.1 损失函数（loss function）/ 代价函数（cost function）

1.3.2.2 风险函数（risk function）/ 期望损失（expected loss）

1.3.2.3 经验风险（empirical risk）/ 经验损失（empirical loss）

1.3.2.4 经验风险最小化与结构风险最小化

1.3.3 算法

---

1.1 统计学习

统计学习包括：监督学习；非监督学习；半监督学习；强化学习。

监督学习需要利用训练数据集，如果没有训练数据集，就不能采用监督学习的方法。

1.3 统计学习三要素——模型、策略、算法

1.3.1 模型——所要学习的条件概率分布或决策函数

模型的假设空间包含所有可能的条件概率分布或决策函数

1.3.2 策略

损失函数：度量模型一次预测的好坏

风险函数：度量平均意义下模型预测的好坏

1.3.2.1 损失函数（loss function）/ 代价函数（cost function）

用于度量输出的预测值f(X)与真实值Y之间的差距，常用的函数有：

0-1损失函数
平方损失函数
绝对损失函数
对数损失函数

损失函数值越小，模型越好。

1.3.2.2 风险函数（risk function）/ 期望损失（expected loss）

损失函数的期望是：

被称为风险函数或期望损失。其中P(X,Y)为输入输出随机变量X,Y的联合概率分布。

 

1.3.2.3 经验风险（empirical risk）/ 经验损失（empirical loss）

当N趋于无穷时，经验风险趋于期望风险。

1.3.2.4 经验风险最小化与结构风险最小化

虽然当N趋于无穷时，经验风险趋于期望风险，但现实中样本的大小常常有限，因此用经验风险对期望风险的预估常常不准确。所以常常需要对经验风险进行校正，矫正的方法为经验风险最小化与结构风险最小化。

1.3.2.4.1 经验风险最小化

经验风险最小化的策略认为，经验风险最小的模型就是最佳模型。即求解最优化问题：
其中极大似然估计就是这个策略中的一个例子（当模型是条件概率分布+损失函数是对数损失函数时，经验风险最小化等价于极大似然估计）。

样本容量小时，会产生过拟合现象。

1.3.2.4.2 结构风险最小化

是在经验风险最小化的基础上加上正则项。

J(f)表示的是模型的复杂度：模型f越复杂，J(f)越大。

结构风险小需要经验风险和模型复杂度同时小，因此通常在训练集和测试集身上都有较好的预测。

先验概率有正则化的作用。

1.3.3 算法

确定了策略（经验风险最小化or结构风险最小化）之后，监督学习问题就变为了最优化问题，算法就是为了求解这个最优化问题。