统计学习方法 李航 第一章习题

---

推荐一下个人博客

1.1说明伯努利模型的极大似然估计以及贝叶斯估计中的统计学习方法三要素。伯努利模型是定义在取值为0和1的随机变量上的概率分布。假设观测到的伯努利模型n次独立数据生成结果，其中k次的结果为1，这时可以用极大似然估计或贝叶斯估计来估计结果为1的概率。

用极大似然估计

L(θ)=f(x_1,x_2,...x_n|θ)=Ck_nθ_k(1−θ)n−k
直接求一阶导数另其等于零
k⋅θk−1(1−θ)n−k−(n−k)θk(1−θ)n−k−1=0
θ̂ _ML=arg max_θL(θ|x)
得到 0，1，k/n 三个解

用极大后验估计

θ̂ _MAP=arg max_θP(X|θ)P(θ)P(X)=arg max_θlog[P(X|θ)P(θ)]=arg max_θ(L(θ|X)+log(P(θ)))
与最大似然估计相比，现在需要多加上一个先验分布概率的对数。在实际应用中，这个先验可以用来描述人们已经知道或者接受的普遍规律。例如在扔硬币的试验中，每次抛出正面发生的概率应该服从一个概率分布，这个概率在0.5处取得最大值，这个分布就是先验分布。先验分布的参数我们称为超参数。

用贝叶斯估计

贝叶斯估计是在MAP上做进一步拓展，此时不直接估计参数的值，而是允许参数服从一定概率分布。
P(θ̂ |X)=∫_θ∈ΘP(x̂ |θ)P(θ|X)dθ=∫_θ∈ΘP(x̂ |θ)P(X|θ)P(θ)P(X)dθ

1.2通过经验风险最小化推导极大似然估计，证明模型是条件概率分布，损失函数是对数损失函数时，经验风险最小化等价于极大似然估计