学习笔记：李航统计学习方法

• 是关于李航的《统计学习方法》的学习笔记
• 主要是看七月在线的网课

1 统计学习及监督学习概论

1.1 基础概念

• 概念：关于计算机基于数据构建概率统计模型、并运用模型对数据进行预测与分析的一门学科。也称为统计机器学习(statistical machine learning)
• 特点：以数据为研究对象，对数据进行预测与分析
• 对象：data
  结构化data：数字。 非结构化data：文字、图像、视频、音频以及它们的组合
  我们处理的都是结构化data，就算是图像音频，也要抽象成结构化data
  数据的基本假设是同类数据具有一定的统计规律性
• 目的：用于对数据（特别是未知数据)进行预测和分析
• 分类：Supervised learning、Unsupervised learning、Reinforcement learning

1.2 监督学习

1.2.1 步骤

1） 训练数据 training data
2） 模型 model（不唯一） ------- 假设空间 hypothesis
3） 评价准则 evaluation criterion -------- 策略 strategy
4） 算法 algorithm
5） 选择最优模型（一般不太可能直接有解析解，一般是迭代解）
6） 对新数据进行预测或分析

1.2.2 概念解释

输入实例$x_i$的特征向量：
$$x_i={\left(x_i^{(1)},x_i^{(2)},\cdots ,x_i^{(n)}\right)}^{\mathrm{T}}$$$x_i$相当于一张二维表格中的一行，比如实例为班级成绩单，$x_i$这一行即为第$i$个同学每门科目$x_i^{(n)}$的成绩。
这里是列向量的形式（一般ML中都默认向量为列向量），但是其实在表格中是一行，这里不要混淆了。

训练集：
$$T=\left\{\left(x_1,y_1\right),\left(x_2,y_2\right),\cdots ,\left(x_N,y_N\right)\right\}$$$y$是标记，可以理解成“是否是三好学生”。

输入变量和输出变量： 分类问题、回归问题、标注问题

联合概率分布： 假设输入、输出的随机变量X、Y遵循联合概率分布P(X,Y)，对于学习系统来说，联合概率分布是未知的，训练数据和测试数据被看作是依联合概率分布P(X,Y)独立同分布产生的。

假设空间（hypothesis space）： 模型的集合就是假设空间。
概率模型两种形式：条件概率分布P(Y|X), 决策函数：Y=f(X)。前者给出的结果是一种概率，后者是给出概率最大的结果。

1.3 无监督学习

数据集只有x没有y：

聚类问题：要给出聚类的标准（比如距离最短）

1.4 统计学习

1.4.1 按算法分类

• 在线学习（online learning）：来了输入$x$，马上能通过系统得到预测输出$\hat{f}$，进而得到损失函数$l(\hat{f},y)$，然后对系统进行改进。下一个输入就是新的系统。
• 批量学习（batch learning）：一次性输入拿到的批次数据集，新的批次过来了再改进。

1.4.2 按技巧分类

1. 贝叶斯学习（Bayesian learning）：模型估计时, 佔计整个后验概率分布$P(\theta \mid D)$。如果需要给出一个模型, 通常取后后验概率最大的模型。
   预测时，计算数据对后验概率分布的期望值：
   $$P(x\mid D)=\int P(x\mid \theta ,D)P(\theta \mid D)\mathrm{d}\theta$$这里 $x$ 是新样本。
   前者是点估计，后者是分布。

2. 核方法（Kernel method）：假设x1，x2是输入空间的任意两个实例，内积为，如果这个内积不能进行非线性学习，则使用φ函数，将输入空间中的x1，x2映射到特征空间，在这个空间做内积，可能就线性可分，然后再映射回去。
   难点：1）φ函数不好找； 2）找到了也很复杂。
   因此，我们换一种思路：在输入空间中定义核函数K(x1, x2)，使其满足K(x1, x2) = < φ(x1), φ(x2)>，这样就转换回了原空间核函数的调用问题。
   • 使用核函数表示和学习非线性模型，将线性模型学习方法扩展到非线性模型的学习
   • 不显式地定义输入空间到特征空间的映射，而是直接定义核函数，即映射之后在特征空间的内积

1.4.3 统计学习三要素：方法=模型+策略+算法

（1）模型

• 决策函数的集合: $\mathcal{F}=\left\{f\mid Y=f(X)\right\}$ （假设空间）
• 参数空间:$\mathcal{F}=\left\{f\mid Y=f_{\theta }(X),\theta \in {\mathbf{R}}^n\right\}$ （决定$f$的映射的参数）
• 条件概率的集合： $\mathcal{F}=\{P\mid P(Y\mid X)\}$
• 参数空间:$\mathcal{F}=\left\{P\mid P_{\theta }(Y\mid X),\theta \in {\mathbf{R}}^n\right\}$

输入空间、输出空间、假设空间、参数空间。

（2）策略

• 损失函数：一次预测的好坏
• 风险函数：平均意义下模型预测的好坏
• $0-1$损失函数 （$0-1$ loss function） $L(Y,f(X))=\{\begin{array}{ll}1,& Y\ne f(X)\\ 0,& Y=f(X)\end{array}$
• 平方损失函数（quadratic loss function） $L(Y,f(X))=(Y-f(X){)}^2$
• 绝对损失函数（absolute loss function） $L(Y,f(X))=|Y-f(X)|$
  和平方损失函数一样避免了损失值的正负问题，但绝对损失函数并不常用，因为绝对值=0处不可导。
• 对数损失函数（logarithmic loss function）或对数似然损失函数（loglikelihood loss function）$L(Y,P(Y\mid X))=-\log P(Y\mid X)$
• 损失函数的期望 $R_{\mathrm{e}\mathrm{x}\mathrm{p}}(f)=E_p[L(Y,f(X))]={\int }_{x\times y}L(y,f(x))P(x,y)\mathrm{d}x\mathrm{d}y$
• 经验风险（empirical risk）， 经验损失（empirical loss）$R_{\text{sup }}(f)=\frac{1}{N}{\sum }_{i=1}^{N}L\left(y_i,f\left(x_i\right)\right)$

策略：经验风险最小化与结构风险最小化

• 经验风险最小化最优模型
  $$\underset{f\in \mathcal{F}}{\min }\frac{1}{N}\sum _{i=1}^{N}L\left(y_i,f\left(x_i\right)\right)$$当样本容量很小时, 经验风险最小化学习的效果末必很好, 会产生“过拟合 over-fitting”
• 结构风险最小化（structure risk minimization），为防止过拟合提出的策略, 等价于正则化 (regularization), 加入正则化项（regularizer），或罚项（penalty term）：
  $$R_{\mathrm{m}}(f)=\frac{1}{N}\sum _{i=1}^{N}L\left(y_i,f\left(x_i\right)\right)+\lambda J(f)$$结构风险是经验风险加上一个正则化项（描述当前模型复杂度，模型越复杂，正则化项越大）。我们希望等式左边尽可能小，则经验风险也要尽可能小，这样模型就会变复杂，产生过拟合，正则化项增大。
• 求最优模型就是求解最优化问题：
  $$\underset{f\in \mathcal{F}}{\min }\frac{1}{N}\sum _{i=1}^{N}L\left(y_i,f\left(x_i\right)\right)+\lambda J(f)$$

（3）算法

• 如果最优化问题有显式的解析式，算法比较简单
• 但通常解析式不存在，就需要数值计算的方法

1.5 模型评估与模型选择

1.5.1 基础概念

• 训练误差, 训练数据集的平均损失 $R_{\text{ecop }}(\hat{f})=\frac{1}{N}{\sum }_{i=1}^{N}L\left(y_i,\hat{f}\left(x_i\right)\right)$
• 测试误差，测试数据集的平均损失 $e_{\text{test}}=\frac{1}{N^{\prime }}{\sum }_{i=1}^{N^{\prime }}L\left(y_i,\hat{f}\left(x_i\right)\right)$
• 损失函数是0-1 损失时 $e_{\mathrm{test}}=\frac{1}{N^{\prime }}{\sum }_{i=1}^{N}I\left(y_1\ne \hat{f}\left(x_i\right)\right)$
• 测试数据集的准确率 $r_{\mathrm{t}\mathrm{e}\mathrm{s}\mathrm{t}}=\frac{1}{N^{\prime }}{\sum }_{\mathrm{i}=1}^{N^{\prime }}I\left(y_{\mathrm{i}}=\hat{f}\left({\hat{x}}_{\mathrm{i}}\right)\right)$

1.5.2 过拟合与模型选择

• 假设给定训练数据集 $T=\left\{\left(x_1,y_1\right),\left(x_2,y_2\right),\cdots ,\left(x_N,y_N\right)\right\}$
  $$f_M(x,w)=w_0+w_{1}x+w_2{x}^2+\cdots +w_M{x}^M=\sum _{j=0}^M{w}_j{x}^{\prime }$$
• 经验风险最小：
  $$L(w)=\frac{1}{2}\sum _{i=1}^N{\left(f\left(x_i,w\right)-y_i\right)}^{2}L(w)=\frac{1}{2}\sum _{i=1}^N{\left(\sum _{j=0}^M{w}_j{x}_i^{\prime }-y_i\right)}^2{w}_j=\frac{{\sum }_{i=1}^N{x}_i{y}_i}{{\sum }_{i=1}^N{x}_i^{j+1}},j=0,1,2,\cdots ,M$$

1.6 正则化与交叉验证

1.6.1 正则化

• 正则化一般形式：
  $$\underset{f\in \mathcal{F}}{\min }\frac{1}{N}\sum _{i=1}^{N}L\left(y_i,f\left(x_i\right)\right)+\lambda J(f)$$
• 回归问题中：
  $$\begin{array}{rl}& L(w)=\frac{1}{N}\sum _{i=1}^N{\left(f\left(x_t;w\right)-y_t\right)}^2+\frac{\lambda }{2}\Vert w{\Vert }^2\\ & L(w)=\frac{1}{N}\sum _{i=1}^N{\left(f\left(x_i;w\right)-y_i\right)}^2+\lambda \Vert w{\Vert }_1\end{array}$$

1.6.2 交叉验证

• 训练集training set： 用于训练模型
• 验证集validation set： 用于模型选择
• 测试集test set： 用于最终对学习方法的评估
• 简单交叉验证
• S折交叉验证
• 留一交叉验证