【李航统计学习笔记】第一章：统计学习及监督学习概论

1.1 导论

统计学习

监督学习的实现步骤:

1. 得到一个有限的训练数据集合

2. 确定模型的假设空间，也就是所有的备选模型

3. 确定模型选择的准则，即学习的策略

4. 实现求解最优模型的算法

5. 通过学习方法选择最优模型

6. 利用学习的最优模型对新数据进行预测或分析

监督学习

训练集：$T=\left\{\left(x_1,y_1\right),\left(x_2,y_2\right),\cdots ,\left(x_N,y_N\right)\right\}$

实例$x$的特征向量：$x={\left(x^{(1)},x^{(2)},\cdots ,x^{(n)}\right)}^T$

模型：

1. 决策函数：$Y=f(X)$. 预测形式: $y=f(x)$.
2. 条件概率分布: $P(Y|X)$. 预测形式: $\underset{y}{\mathrm{argmax}}(y|x)$

统计学习三要素

要素一：模型（假设空间）

决策函数: $F=\left\{f|Y=f_{\theta }(X),\theta \in R^n\right\}$

条件概率分布: $F=\{P\left|P_{\theta }(Y|X),\theta \in R^n\right\}$

要素二：策略：

损失函数

1. 0-1损失函数

$$L(Y,f(X))=\{\begin{array}{l}1,Y\ne f(X)\\ 0,Y=f(X)\end{array}$$

2. 平方损失函数

$$L(Y,f(X))=(Y-f(X){)}^2$$

3. 绝对损失函数

$$L(Y,f(X))=|Y-f(X)|$$

4. 对数损失函数

$$L(Y,P(Y\mid X))=-\log P(Y\mid X)$$

经验风险最小化：
$$\underset{f\in F}{\min }\frac{1}{N}\sum _{i=1}^{N}L\left(y_i,f\left(x_i\right)\right)$$
结构风险最小化
$$\underset{f\in F}{\min }\frac{1}{N}\sum _{i=1}^{N}L\left(y_i,f\left(x_i\right)\right)+\lambda J(f)$$

要素三：算法

挑选一个最合适的算法，使得可以求解最优模型

模型评估与模型选择

训练误差：
$$\frac{1}{N}\sum _{i=1}^{N}L\left(y_i,f\left(x_i\right)\right)$$
测试误差：
$$\frac{1}{N^{\prime }}\sum _{i=1}^{N^{\prime }}L\left(y_i,f\left(x_i\right)\right)$$

多项式拟合问题

正则化与交叉验证

最小化结构风险：
$$\frac{1}{N}\sum _{i=1}^{N}L\left(y_i,f\left(x_i\right)\right)+\lambda J(f)$$
交叉验证：数据集随机划分为以下三部分，训练集（模型的训练），验证集（模型的选择），测试集（模型的评估）。

泛化能力

定理1.1 泛化误差上界

对于二分类问题，当假设空间是有限个函数的集合$F=\left\{f_1,f_2,\cdots ,f_d\right\}$时, 对任意一个函数$f\in F$, 至少以概率$1-\delta$,以下不等式成立:
$$R(f)\le R(f)+\epsilon (d,N,\delta )$$
其中:
$$\epsilon (d,N,\delta )=\sqrt{\frac{1}{2N}\left(\log d+\log \frac{1}{\delta }\right)}$$

生成模型与判别模型

生成方法: $P(Y|X)=\frac{P(X,Y)}{P(X)}$ 。比如说，如何知道女孩子的姓名呢？生成方法就是：我要是把她爸妈建模出来，直接问她 爸妈不就行了吗?

判别方法: $f(x)$或$P(Y|X)$. 沿用上面例子，判别方法就是：她叫小红的概率是多少？她叫小刘的概率时多少？。。。

分类问题

精确率:
$$P=\frac{TP}{TP+FP}$$
召回率:
$$R=\frac{TP}{TP+FN}$$

F1值：
$$\begin{array}{rl}\frac{2}{F_1}& =\frac{1}{P}+\frac{1}{R}\\ F_1& =\frac{2TP}{2TP+FP+FN}\end{array}$$

1.2 极大似然估计

在掷硬币实验中估计出现正面向上的概率$\theta$

极大似然估计：
$$x_i=\{\begin{array}{l}1,\text{ 正 }\\ 0,\text{ 负 }\end{array}{x}_i\sim \mathrm{B}(1,\theta )$$
概率函数：
$$P(X=x)={\theta }^x(1-\theta {)}^{1-x}$$
似然函数：
$$\begin{array}{rl}\mathrm{L}(\theta )& =P\left(X_1=x_1\mid \theta \right)\cdots P\left(X_n=x_n\mid \theta \right)\\ & =\prod _{i=1}^n{\theta }^{x_i}(1-\theta {)}^{1-x_i}\end{array}$$

$$\begin{array}{rl}\max \ln \mathrm{L}(\theta )& =\sum _{i=1}^n\left[\ln {\theta }^{x_i}+\ln (1-\theta {)}^{1-x_i}\right]\\ & =\sum _{i=1}^n{x}_i\ln \theta +\left(n-\sum _{i=1}^n{x}_i\right)\ln (1-\theta )\\ \frac{\partial \ln L(\theta )}{\partial \theta }=& \frac{{\sum }_{i=1}^n{x}_i}{\theta }-\frac{n-{\sum }_{j=1}^n{x}_i}{1-\theta }=0\end{array}$$

估计值：
$$\hat{\theta }=\frac{{\sum }_{\mathrm{i}=1}^n{x}_i}{n}$$

1.3 梯度下降法

输入：目标函数$f(x)$, 梯度函数$g(x)=\Delta f(x)$,计算精度$ϵ$， 步长$\eta$

输出：$f(x)$的极小值点$x^{\ast }$

步骤：

1. 取初始值$x^0\in R^n$,置$k=0$
2. 计算$f\left(x^k\right)$
3. 计算梯度$g_k=g\left(x^{(k)}\right)$,当$||g_k||<ϵ$时，停止迭代。否则，$x^{k+1}=x^k-\eta \ast g_k$,重新转至步骤2