西瓜书《机器学习》课后答案——chapter7

7.1 试使用极大似然法估计西瓜数据集3.0中前3个属性的类条件概率。
解答：
假设类别C为随机变量，则它总共有两种取值：好瓜和坏瓜。前3个属性分别为色泽、根蒂和敲声，分别用随机变量R、 S、 T表示，并且可取值分别为 {青绿，乌黑，浅白} 、 {蜷缩，稍蜷，硬挺} 、 {浊响，沉闷，清脆} .
则使用极大似然法得到的类条件概率估计表达式为

P(R=r|C=c)=|Dc,r||Dc|

P(S=s|C=c)=|Dc,s||Dc|

P(T=t|C=c)=|Dc,t||Dc|

其中 |Dc| 表示训练集中类别为c的样本数。 |Dc,r| 表示训练集中类别为c并且色泽为r的样本数，那么类似的， |Dc,s| 表示训练集中类别为c并且根蒂为s的样本数， |Dc,t| 表示训练集中类别为c并且敲声为t的样本数。

现在只需要对西瓜数据集3.0（P84）计数就能得到结果：

• 好瓜：

D好瓜=8,D坏瓜=9

• 色泽：

D好瓜,青绿=3，D坏瓜,青绿=3	P(青绿|好瓜)=38,P(青绿|坏瓜)=39
D好瓜,乌黑=4，D坏瓜,乌黑=2	P(乌黑|好瓜)=48,P(乌黑|坏瓜)=29
D好瓜,浅白=1，D坏瓜,浅白=4	P(浅白|好瓜)=18,P(浅白|坏瓜)=49

• 根蒂：

D好瓜,蜷缩=5，D坏瓜,蜷缩=3	P(蜷缩|好瓜)=58,P(蜷缩|坏瓜)=39
D好瓜,稍蜷=3，D坏瓜,稍蜷=4	P(稍蜷|好瓜)=38,P(稍蜷|坏瓜)=49
D好瓜,硬挺=0，D坏瓜,硬挺=2	P(硬挺|好瓜)=08,P(硬挺|坏瓜)=29

• 敲声：

D好瓜,浊响=6，D坏瓜,浊响=4	P(浊响|好瓜)=68,P(浊响|坏瓜)=49
D好瓜,沉闷=2，D坏瓜,沉闷=3	P(沉闷|好瓜)=28,P(沉闷|坏瓜)=39
D好瓜,清脆=0，D坏瓜,清脆=2	P(清脆|好瓜)=08,P(清脆|坏瓜)=29

7.2 试证明：条件独立性假设不成立时，朴素贝叶斯分类器仍有可能产生最优贝叶斯分类器。
解答：
参考：
On the optimality of the simple Bayesian classifier under zero-one loss. 1997.
On Discriminative vs. Generative classifiers: A comparison of logistic regression and naive Bayes. 2002.
The Optimality of Naive Bayes. 2004.

7.3 试编程实现拉普拉斯修正的朴素贝叶斯分类器，并以西瓜数据集3.0为训练集，对p.151 “测1”样本进行判别。
解答：
西瓜书《机器学习》课后答案——chapter7_7.3

7.4 实践中使用式(7.15)决定分类类别时，若数据维度非常高，则概率连乘 ∏di=1P(xi|c) 的结果通常会非常接近于0从而导致下溢。试述防止下溢的可能方案。
解答：
只要找到合适的和(7.15)的优化目标函数单调性一致的函数即可。比如，可以对目标函数取对数，得到

logP(c)+∑i=1dlogP(xi|c).

7.5 试证明：二分类任务中两类数据满足高斯分布并且方差相同时，线性判别分析产生贝叶斯最优分类器。
解答：线性判别分析（二）——Bayes最优分类器的角度看LDA

7.6 编程实现AODE分类器，并以西瓜数据集3.0为训练集，对p.151的“测1”样本进行判别。
解答：
西瓜书《机器学习》课后答案——chapter7_7.3

7.7 给定d个二值属性的二分类任务，假设对于任何先验概率项的估计至少需要30个样例，则在朴素贝叶斯分类器(7.15)中估计先验概率项 P(c) 需要 30×2=60 个样例。试估计在AODE(7.23)中估计先验概率 P(c,xi) 所需要的样例数（分别考虑最好和最坏情形）。

并不知道这个题目想干嘛，为什么还有最好情况和最坏情况。

7.8 考虑图7.3，试证明：在同父结构中，若 X1 的取值已知，则 X3 与 X4 独立，若 X1 的取值未知，则 X3 与 X4 不独立；在顺序结构中，如果 X 取值已知，则 Y 和 Z 独立，如果 X 取值未知，则 Y 和 Z 不独立。(大写表示随机变量，小写表示具体取值)
解答：
Bayes网络假设联合概率分布

P(x1,x2,⋯,xn)=∏i=1nP(xi|pa(xi)).

同父结构( X3 和 X4 的父亲节点都是 X1 )：

• 当 X1 取值未知时，

  P(x3,x4)=∑x1P(x3,x4,x1)=∑x1P(x3|x1)P(x4|x1)P(x1)≠P(x3)P(x4)
  
  所以 x3 和 x4 不独立。

• 当 X1=x1 时，

  P(x3,x4|x1)=P(x1,x3,x4)P(x1)=P(x3|x1)P(x4|x1)P(x1)P(x1)=P(x3|x1)P(x4|x1)
  
  所以 x3 和 x4 独立。

顺序结构(Z是X的父节点，X是Y的父节点)：

• 当X未知时，

  P(y,z)=∑xP(x,y,z)=∑xP(x|z)P(y|x)P(z)≠P(y)P(z)
  
  所以y和z不独立。

• 当X=x时，

  P(y,z|x)=P(x,y,z)P(x)=P(x|z)P(y|x)P(z)P(x)=P(x,z)P(y|x)P(x)=P(y|x)P(z|x)
  
  所以y和z独立。

7.9 以西瓜数据集2.0为例，基于BIC准则构建一个贝叶斯网。

7.10 以西瓜数据集2.0中属性“脐部”为隐变量，试基于EM算法构建一个贝叶斯网。