李航《统计学习方法》第一章习题和笔记

关键概念

1. 统计学习三要素
   一切统计学习方法可以由三要素描述：模型 + 策略 + 算法
   模型
   根据想要学习的目标，模型可以分为概率模型和非概率模型。概率模型是指从输入空间X到输出空间Y的映射是通过条件概率来描述的。非概率模型一般就是由决策函数来描述X到Y的映射。
   策略
   要学习一个模型，从直观上就是要让这个模型对映射的描述越来越准确。要度量这个准确性，就需要引入一些对于模型不准确程度的衡量标准，也就是损失函数。很显然，针对训练集，损失函数越小，模型就越准确，但是可能会带来过拟合的问题，导致在测试集上表现很差。所以一般有两种策略：经验风险最小化（只考虑训练集的表现）和结构风险最小化（加入正则化，抵抗过拟合）
   算法
   通过确定策略，已经确定了一个需要被优化的函数，优化函数的具体计算方法，称为算法。机器学习里算法之所以关键，主要是因为大多数优化问题都没有显式解，所以需要好的数值计算方法进行优化。
2. 参数估计复习
   概率论中的参数估计，目前用到了两种，点估计和贝叶斯估计。
   点估计就是指决定某个分布的参数 $\theta$ 被看做是一个确定的未知数，并且用一个数（而不是一个区间）来估计这个未知数。
   贝叶斯估计认为这个参数是符合某种分布的。当我们对这个分布没有进行过观察的时候，对这个分布仅仅有一个朴素的没有偏向的认识，称为先验分布。在进行了一次或多次观察之后，我们得到了一些新的信息，这个信息有助于我们去修改之前对这个分布的估计，修改完的分布称为后验分布。

个人习题解答

1. 伯努利模型的点估计和贝叶斯估计
   1.1 点估计
   模型：伯努利模型描述了一个取值为0或1的离散型随机变量$X$进行一次实验的结果。
   策略：极大似然估计的思路是[1]，对于分布$f(x;{\theta }_1,...,{\theta }_k)$有独立同分布的观察样本$X_1,...,X_n$。将$\theta$视为未知的参数，则得到这一系列观察样本$X_1,...,X_n$的联合概率为$L(X_1,...,X_n;{\theta }_1,...,{\theta }_k)$。联合概率$L$的大小取决于${\theta }_i$的不同取值。
   那么，使用目前的观察进行估计，哪个${\theta }_i$的取值是最可能的呢？极大似然估计认为，使联合概率分布取最大值的${\theta }_i$是最可能的。数学描述为：
   $L(X_1,\cdots ,X_n;{\theta }_1^{\ast },\cdots ,{\theta }_k^{\ast })=\underset{{\theta }_1,\cdots ,{\theta }_k}{\max }L(X_1,\cdots ,X_n;{\theta }_1,\cdots ,{\theta }_k)$
   其中$({\theta }_1^{\ast },\cdots ,{\theta }_k^{\ast })$称为对$({\theta }_1,\cdots ,{\theta }_k)$的极大似然估计。
   算法: 欲使$L$达到最大，使$\ln L$达到最大即可。寻找极大值点的方法就是求对${\theta }_i$的一阶导数零点。数学描述为:
   $\frac{\partial \ln L}{\partial {\theta }_i}=0(i=1,\cdots ,k)$。
   计算过程:为了与定义一致，将未知的参数$p$记为$\theta$。
   $L(X_1,\cdots ,X_n;\theta )={\theta }^k(1-\theta {)}^{n-k}$
   $\ln L=k\ln \theta +(n-k)\ln (1-\theta )$
   $\frac{\partial \ln L}{\partial \theta }=\frac{k}{\theta }-\frac{n-k}{1-\theta }$
   令$\frac{\partial \ln L}{\partial \theta }=0$,
   此方程的解即为$\theta$的估计值，${\theta }^{\ast }=\frac{k}{n}$
   1.2 贝叶斯估计
   问题描述：设$X_1,\cdots ,X_n$为抽自伯努利分布的样本，$k=\sum _{i=1}^n{X}_i$。分布中的参数$p$有先验概率密度$h(p)$，估计p。
   估计过程：
   根据观察$X_1,\cdots ,X_n$得到后验概率密度，也就是基于这些观察的参数的条件概率密度（使用贝叶斯公式的连续变量形式）:
   $h(p|X_1,\cdots ,X_n)=\frac{h(p)p^k(1-p{)}^{n-k}}{{\int }_0^{1}h(p)p^k(1-p{)}^{n-k}dp}$
   从后验概率估计参数的方式也有多种[2]，常见的方法是取期望[1]。对上式取均值可以得到：
   $\tilde{p}={\int }_0^{1}ph(p|X_1,\cdots ,X_n)dp=\frac{h(p)p^{k+1}(1-p{)}^{n-k}}{{\int }_0^{1}h(p)p^k(1-p{)}^{n-k}dp}$
   （注意合并因子之后分子里面的p的指数变化）
   根据[1]，一般可将先验概率分布设为均匀分布，在此前提下，上式可化简为
   $$\tilde{p}=\frac{B(k+2,n-k+1)}{B(k+1,n-k+1)}$$
   由于$B(x,y)=\frac{\Gamma (x)\Gamma (y)}{\Gamma (x+y)}$以及 $\Gamma (k)=(k-1)!$
   上式可以继续化简为
   $$\tilde{p}=\frac{k+1}{n+2}$$
   这里对贝叶斯估计的结果进行观察，可以发现[1]当观察样本很少的时候，与经典方法差距较大。考虑极端情况，仅一个观察样本，经典方法对p的估计很极端，非0即1，然而贝叶斯可以先将其预先估计为1/2。若下一个观察是1，则往1偏移至2/3，若下一个观察是0，则往0偏移至1/3，相对没有那么极端。
2. 极大似然估计与经验风险最小化
   求证: 当模型是条件概率分布$P(Y|X)$，且采用对数损失函数，经验风险最小化等价于极大似然估计
   过程：
   极大似然估计要最大化的是：$L=\prod _{i=1}^{N}p(y_i|x_i)$
   经验风险最小化要最小化的是 ：$R_{emp}=\frac{1}{N}\sum _{i=1}^N-\log p(y_i|x_i)$
   将L取对数，$\log L=\sum _{i=1}^N\log p(y_i|x_i)$
   可见最小化$R_{emp}$和最大化$L$是等价的。

遗留问题

1. 如何理解贝叶斯原则中的“同等无知”？
2. 贝叶斯估计为什么取后验概率分布的期望？
3. 如何理解先验分布和样本信息的关系？

还在入门，有错误欢迎指正

参考资料：

1. 陈希孺《概率论与数理统计》第四章：参数估计
2. https://blog.csdn.net/jackxu8/article/details/70332331