《统计学习方法》第1章 课后题答案

1.1 说明伯努利模型的极大似然估计以及贝叶斯估计中的统计学习方法三要素。伯努利模型是定义在取值为0与1的随机变量上的概率分布。假设观测到伯努利模型n次独立的数据生成结果，其中k次的结果为1，这时可以用极大似然估计或贝叶斯估计来估计结果为1的概率。

解：
三要素分别是模型、策略、算法。

模型：伯努利模型，即定义在取值为0与1的随机变量上的概率分布。

策略：极大似然估计和贝叶斯估计的策略都是对数损失函数，只不过贝叶斯估计使用的是结构风险最小化。

算法：极大似然估计所使用的算法是求取经验风险函数的极小值，贝叶斯估计所使用的算法是求取参数的后验分布，然后计算其期望。

定义$A$为取值为0或1的随机变量，并设$A=1$的概率是$\theta$，即:
$$P(A=1)=\theta ,P(A=0)=1-\theta$$

独立抽取$n$个同分布的随机变量$A_1,A_2,\dots ,A_n$。使用极大似然估计即求取以下经验风险函数的极值点：
$$L(P)=-\sum _{i=1}^n\text{log}P(A_i)=-k\text{log}\theta -(n-k)\text{log}(1-\theta )$$
即求${\theta }^{\prime }$，使得：
$${\frac{\partial L(P)}{\partial P}|}_{{\theta }^{\prime }}=-\frac{k}{{\theta }^{\prime }}-\frac{n-k}{1-{\theta }^{\prime }}=0$$
即得$\theta$的估计值为$\theta =\frac{k}{n}$。

如果使用贝叶斯估计，则将$A=1$的概率$\theta$也看做是一个随机变量，假设其先验分布为均匀分布，即：
$$f(\theta )=1$$
那么根据贝叶斯定理，其后验分布为：
$$f(\theta |A_1,\dots ,A_n)=\frac{f(A_1,\dots ,A_n|\theta )\cdot f(\theta )}{\int f(A_1,\dots ,A_n)\cdot f(\theta )\text{d}\theta }$$
上式中分母与$\theta$无关，所以可忽略，即：
$$f(\theta |A_1,\dots ,A_n)\propto {\theta }^k(1-\theta {)}^{(n-k)}={\theta }^{k+1-1}(1-\theta {)}^{n-k+1-1}$$
此时，如果想要最大化后验概率，即求${\theta }^{\prime }$使得$f({\theta }^{\prime }|A_1,\dots ,A_n)$最大，只需求解${\theta }^k(1-\theta {)}^{(n-k)}$的极值点。最终所求结果与最大似然估计法一样。

注意，我们还可以求解在均方（期望）意义下$\theta$的值，事实上，参数为$a,b$的Beta分布的概率密度函数如下
$$f(p;a,b)=\frac{\Gamma (a+b)}{\Gamma (a)\Gamma (b)}{p}^{a-1}(1-p{)}^{b-1}$$
因此可以看出，$\theta$的后验分布服从参数为$k+1$和$n-k+1$的Beta分布，即：
$$f(\theta |A_1,\dots ,A_n)=\frac{\Gamma (n+2)}{\Gamma (k+1)\Gamma (n-k+1)}{\theta }^{k+1-1}(1-\theta {)}^{n-k+1-1}$$
因此，上式的期望（即$\theta$的估计值）为：
$$E(\theta )=\frac{k+1}{n+2}$$

ps: 感谢评论区中 jiajinrang93 大佬的指正。

---

参考了http://blog.csdn.net/familyshizhouna/article/details/70160782 的解答过程，但是没看懂其关于第一题的解答，所以就自己写答案了。
还参考了《统计学完全教程》中的相关内容