机器学习(周志华) 参考答案 第七章 贝叶斯分类器

机器学习(周志华) 参考答案 第七章 贝叶斯分类器

机器学习(周志华西瓜书) 参考答案 总目录

  • http://blog.csdn.net/icefire_tyh/article/details/52064910
    看了半天依然没看懂如何去优化贝叶斯网,9,10题先空着

1.试使用极大似然法估算西瓜数据集3.0中前3个属性的类条件概率。

极大似然法要先假定一种概率分布形式。
色泽:
对于好瓜,假设
P(色泽=青绿|好瓜)=σ1
P(色泽=乌黑|好瓜)=σ2
P(色泽=浅白|好瓜)=σ3=1σ1σ2
L(σ)=iP(=xi|)=σ31σ42(1σ1σ2)
L(σ1)=σ42σ21(34σ13σ2)
L(σ2)=σ31σ32(44σ15σ2)
令L(σ1)=0L(σ2)=0σ1=38σ1=12σ3=18
可以看出σ1,σ2,σ3分别对应他们在样本中出现的频率。

对于坏瓜以及另外两种属性计算方式相同,得出类似的结果。

2.试证明:条件独立性假设不成立时,朴素贝叶斯分类器任有可能产生最优分类器。

朴素贝叶斯分类器就是建立在条件独立性假设上的。当有不独立的属性时,假如所有样本不独立的属性取值相同时分类也是相同的,那么此时朴素贝叶斯分类器也将产生最优分类器。

3.试编程实现拉普拉斯修正的朴素贝叶斯分类器,并以西瓜数据集3.0为训练集,并对“测1”样本进行分类。

  • http://blog.csdn.net/icefire_tyh/article/details/52167211

4.实践中用式(7.15)决定分类类别时,若数据的维度非常高,则连乘的概率结果会非常接近0并导致下溢。试述防止下溢的可能方案。

若连乘的式子太多,导致乘积接近0。由于属性个数是已知的,可以对每个乘式做适当次的开方处理,可以保证结果不会为0。另外也可以对各项取对数,当累加太多时,可能导致和接近负无穷。可以对每个加数除以属性的个数,来防止溢出。

5.试证明:二分类任务中两类数据满足高斯分布且方差相同时,线性判别分析产生最优贝叶斯分类器。

假设1类样本均值为u1,2类样本均值为u2
由于数据满足同方差的高斯分布,当样本足够大时,可以认为

线性判别分析公式J=|wT(u1u2)|2wT(Σ1+Σ2)w求最大值
1J=wT(Σ1+Σ2)w|wT(u1u2)|2=i(1yi)|wT(xiu1)|2+yi|wT(xiu2)|2|wT(u1u2)|2求最小值

最优贝叶斯分类器使每个训练样本的后验概率P(c|x)最大,对应线性判别分析中,即离对应分类的中心距离(平方)除以两个分类中心的距离(平方)越小。
即求i(1yi)|wT(xiu1)|2+yi|wT(xiu2)|2|wT(u1u2)|2

两个式子相同,所以线性判别分析产生最优贝叶斯分类器。

6.试编程实现AODE分类器,并以西瓜数据集3.0为训练集,并对“测1”样本进行分类。

  • http://blog.csdn.net/icefire_tyh/article/details/52167263

7.给定d个二值属性的分类任务,假设对于任何先验概率的估算需要30个样本。试估计AODE中估算先验概率p(c,xi)所需要的样本数。

显然对于正负样本,各属性对应的取值xi需要出现30次。
最好的情况下,只需要60个样本就能就能估算概率。其中30个xi属性的样本取值为1,30个xi属性的样本取值为0。尽管这不符合实际情况(相同属性取值不同)。
最坏的情况下,要60d个样本才能估算。其中每个样本只有一个属性和测试样本xi相同,其余都是另一个取值。

8.考虑图7.3,证明:在同父结构中,若x1的取值未知,则x3x4不成立。在顺序结构中,yz|x成立,但yz不成立。

①.x1已知时,p(x1,x3,x4)=p(x1)p(x3|x1)p(x4|x1)
p(x3,x4|x1)=p(x1,x3,x4)p(x1)=p(x3|x1)p(x4|x1)
所以x3x4|x1

x1未知时,p(x1,x3,x4)=p(x1)p(x3|x1)p(x4|x1)
p(x_3,x_4)=\sum_x_1{p(x_1,x_3,x_4)}=\sum_x_1{p(x_1)p(x_3|x_1)p(x_4|x_1)}
由于不知道p(x_3|x_1)p(x_4|x_1),所以无法得出p(x_3,x_4)=p(x_3)p(x_4)

②.x已知时,p(x,y,z)=p(z)p(x|z)p(y|x)
p(y,z|x)=\frac{p(x,y,z)}{p(x)}=\frac{p(z)p(x|z)}{p(x)}p(y|x)=p(z|x)p(y|x)
所以y⊥z|x

x未知时,p(x,y,z)=p(z)p(x|z)p(y|x)
p(y,z)=\sum_x{p(x,y,z)}=p(z)\sum_x{p(x|z)p(y|x)}
无法得出p(y,z)=p(y)p(z)

你可能感兴趣的:(机器学习,机器学习(周志华西瓜书))