《统计学习方法》第一章习题

1.1 说明伯努利模型的极大似然估计以及贝叶斯估计中的统计学习方法三要素。

三要素

1）模型：贝叶斯估计与最大似然估计最后寻找都是条件概率分布
2）策略：最大似然估计是经验风险最小化，贝叶斯估计是结构风险最小化
3）算法：最大似然估计是显式的解析解，贝叶斯估计是用数值计算的方法求解

伯努利模型是定义在取值为0与1的随机变量上的概率分布。假设观测到伯努利模型n次独立的数据生成结果，其中k次的结果为1,这时可以用极大似然估计或贝叶斯估计来估计结果为1的概率。

伯努利分布也叫01分布，其概率分布函数为
$$P(x)=p^x(1-p{)}^{1-x},其中0<p<1,x\in \{0，1\}$$

极大似然估计

n次独立伯努利实验的样本集$D=\{x_1,x_2,...,x_n\}$，对数似然函数为
$$L=P(D|p)=\ln [\prod _{i=1}^n{p}^{x_i}(1-p{)}^{1-x_i}]=\sum _{i=1}^n\ln [p^{x_i}(1-p{)}^{1-x_i}]=\sum _{i=1}^n[x_i\ln p+(1-x_i)\ln (1-p)]$$
然后对参数p的极大似然估计就是求上式的最大值：
$$p=\underset{p}{\arg \max P(D|p)}=\underset{p}{\mathrm{argmax}}\sum _{i=1}^n[x_i\ln p+(1-x_i)\ln (1-p)]$$
最大似然估计即求似然函数的极值点，对p求偏导并令其等于0得
$$\frac{\partial L}{\partial p}=\sum _{i=1}^n(\frac{x_i}{p}-\frac{1-x_i}{1-p})=0$$
解得
$$p=\frac{1}{n}\sum _{i=1}^n{x}_i$$
由于n次独立实验中有k次结果为1，因此 $p=\frac{k}{n}$
采用极大似然估计结果为1的概率为
$$P(x=1)=p^x(1-p{)}^{1-x}=p=\frac{k}{n}$$

贝叶斯估计

由题得样本集为$D=\{x_1,x_2,...,x_n\}$
对参数p的贝叶斯公式为
$$P(p|D)=\frac{P(D|p)P(p)}{P(D)}$$
其中$P(p)$是先验概率，P(D|p)是似然函数，P(p|D)是后验概率。贝叶斯估计是在已知观察结果D的条件下，使p出现概率最大的值，即使得P(p|D)最大。
由于P(D)与参数p无关，因此要使P(p|D)最大，即要使得分子最大。所以
$$p=\underset{p}{\arg \max P(p|D)}=\underset{p}{\mathrm{argmax}}P(p)P(D|p)$$

把p视为随机变量，假设其符合β分布(贝塔分布是一个作为伯努利分布和二项式分布的共轭先验分布的密度函数，在机器学习和数理统计学中有重要应用。在概率论中，贝塔分布，也称β分布，是指一组定义在(0,1) 区间的连续概率分布。)，则有
$$P(p)=\beta (p;a,b)=\frac{p^{a-1}(1-p{)}^{b-1}}{C},C为常数，a，b需选定$$

n次伯努利实验即为二项分布，由题得n次实验为1的次数为k，似然函数为
$$P(D|p)=\prod _{i=1}^{n}P(x_i)=\prod _{i=1}^n{p}^{x_i}(1-p{)}^{1-x_i}=p^k(1-p{)}^{n-k}$$
因此
$$p=\underset{p}{\mathrm{argmax}}P(D|p)P(p)=\underset{p}{\mathrm{argmax}}\prod _{i=1}^{n}P(x_i)P(p)=\underset{p}{\mathrm{argmax}}{p}^k(1-p{)}^{n-k}\frac{p^{a-1}(1-p{)}^{b-1}}{C}$$

$$\ln P(D|p)P(p)=\ln [p^k(1-p{)}^{n-k}\frac{p^{a-1}(1-p{)}^{b-1}}{C}]=(k+a-1)\ln p+(n-k+b-1)\ln (1-p)-\ln C$$
为求上式极值点，令其对参数p的偏导数为0有
$$\frac{\partial \ln P(D|p)P(p)}{\partial p}=\frac{k+a-1}{p}-\frac{n-k+b-1}{1-p}=0$$
求得
$$p=\frac{k+a-1}{n+a+b-2}$$

1.2 通过经验风险最小化推导极大似然估计。证明模型是条件概率分布，当损失函数是对数损失函数时,经验风险最小化等价于极大似然估计。

经验风险最小化

在假设空间F中，经验风险最小化可以用下式表示
$$R_{ERM}=\underset{f\in F}{\mathrm{argmin}}\frac{1}{N}\sum _{i=1}^{n}L(y_i,f(x_i))$$
当损失函数为对数，模型是条件概率分布，即
$$f(x_i)=P(y_i|x_i),L(y_i,f(x_i))=-\log P(y_i|x_i)$$
带入经验风险得
$$R_{ERM}=\underset{f\in F}{\mathrm{argmin}}\frac{1}{N}\sum _{i=1}^n-\log P(y_i|x_i)=\underset{f\in F}{\mathrm{argmax}}\frac{1}{N}\sum _{i=1}^n\log P(y_i|x_i)(1)$$

极大似然估计

由于模型是条件概率分布，则似然函数如下
$$P(Y|X)=\prod _{i=1}^{n}P(y_i|x_i)$$
极大似然估计即求思涵函数的最大值，即
$$f=\underset{f\in F}{\mathrm{argmax}}\prod _{i=1}^{n}P(y_i|x_i)=\underset{f\in F}{\mathrm{argmax}}\log \prod _{i=1}^{n}P(y_i|x_i)=\underset{f\in F}{\mathrm{argmax}}\sum _{i=1}^n\log P(y_i|x_i)(2)$$
对比(1)和(2)命题得证