李航博士《统计学习方法》第一章课后习题参考答案

1.1 说明伯努利模型的极大似然估计以及贝叶斯估计中的统计学习方法三要素。伯努利模型是定义在取值为0与1的随机变量上的概率分布。假设观测到伯努利模型n次独立的数据生成结果，其中k次的结果为1，这时可以用极大似然估计或贝叶斯估计来估计结果为1的概率。

答：统计学习方法由三要素构成，可以简单地表示为：

方法 = 模型 + 策略 + 算法

模型：即伯努利模型，是在同样的条件下重复地、相互独立地进行的只有0或1两种结果的随机试验。n重伯努利试验中，恰有k次结果为1的条件概率表达式为：

$$P_n(k)=C_n^k{p}^k(1-p{)}^{n-k}$$

策略：二者使用的损失函数均为对数损失函数，即：$L(Y,P_n(k))=-log{P}_n(k)$

所不同的是，极大似然估计（Maximum Likelihood Estimation，MLE）使用经验风险最小化，经验风险表达式为：
$$R_{emp}(f)=\frac{1}{N}\sum _{i=1}^{N}L(y_i,f(x_i)$$

而贝叶斯估计（Bayesian Estimation）使用结构风险最小化，结构风险表达式为：
$$R_{srm}(f)=\frac{1}{N}\sum _{i=1}^{N}L(y_i,f(x_i)+\lambda J(f)$$

算法：引用课本图1.6，如下：

二者分别是在上图所示基础上，以风险最小化求得待估计参数。

求解过程：

1. 极大似然估计：
   似然函数：
   $$L(P)=\prod P(A_i)=p^k(1-p{)}^{n-k}$$
   其中，$p$ $(0<p<1)$是单次实验中结果为1的概率，$A_i$代表第 $i$ 次随机试验。
   对数似然函数：
   $$lnL(P)=klnp+(n-k)ln(1-p)$$
   对$p$求偏导，并令其为零。可得：
   $$\frac{k}{p}+\frac{n-k}{1-p}=0$$
   解得：$p=\frac{k}{n}$，唯一驻点，即 $p$ 的极大似然估计为$\tilde{p}=\frac{k}{n}$

2. 贝叶斯估计
   极大似然估计给出了$p$的具体值，而贝叶斯估计假定$p$满足某种随机分布。此处参考CSDN博文，用$\beta$分布来估计$p$，通过贝叶斯公式可以得到：
   $$P(p|A_i)=\frac{P(A_i|p)P(p)}{P(A_i)}$$
   而$p$ ~ $Beta(p|\alpha ,\beta )$，其概率密度函数为：
   $$P（\mu |\alpha ,\beta ）=\frac{\Gamma (\alpha +\beta )}{\Gamma (\alpha )\Gamma (\beta )}{\mu }^{\alpha -1}(1-\mu {)}^{\beta -1}$$
   (该部分未完待续)

1.2 通过经验风险最小化推到极大似然估计。证明模型是条件概率分布，当损失函数是对数损失函数时，经验风险最小化等价于极大似然估计

条件概率分布：$P_{\theta }(Y|X)$
对数损失函数：$L(Y,P_n(k))=-log{P}_{\theta }(Y|X)$

经验风险为：
$$R_{emp}(f)=\frac{1}{N}\sum _{i=1}^{N}L(y_i,f(x_i)=\frac{1}{N}\sum _{i=1}^N-log{P}_{\theta }(Y|X)=-\frac{1}{N}log\prod P_{\theta }(Y|X)$$
观察上式可知，经验风险最小化就转化成了
$$arg\underset{\theta }{\max }{P}_{t}heta(Y|X)$$

这个就恰好对应图中的极大似然估计。
证毕

参考链接来源大佬们：

https://blog.csdn.net/bumingqiu/article/details/73761602
https://blog.csdn.net/jteng/article/details/60334628
https://fxnfk.blog.csdn.net/article/details/70160782
https://blog.csdn.net/pipisorry/article/details/51471222