《机器学习(周志华)》Chapter7 贝叶斯分类 课后习题答案

7.1 试使用极大似然法估算西瓜数据集3.0中前3个属性的类条件概率.

《机器学习(周志华)》Chapter7 贝叶斯分类 课后习题答案_第1张图片      

即求属性为X={色泽, 根蒂, 敲声},c={是, 否},的类条件概率P(x|c)

根据西瓜书P149.极大似然法,同理假设P(x|c)具有确定的形式并且被参数向量θc唯一确定。

根据公式可得题目转化为求:

$$LL(\mathop \theta \nolimits_C ) = \sum\limits_{x \in \mathop D\nolimits_c } {\log P(x|\mathop \theta \nolimits_c )} $$

$$\mathop {\mathop \theta \nolimits_c }\limits^ \wedge   = \mathop {\arg \max }\limits_{\mathop \theta \nolimits_c } LL(\mathop \theta \nolimits_c )$$


而书中对连续属性情况下假设概率密度函数服从正太分布,而题目是离散属性,离散属性的极大似然估计可参考以下网址:

https://baike.baidu.com/item/%E6%9E%81%E5%A4%A7%E4%BC%BC%E7%84%B6%E4%BC%B0%E8%AE%A1/3350286#reference-[2]-185250-wrap

https://zhidao.baidu.com/question/568276383.html?qbl=relate_question_0&word=%C0%EB%C9%A2%CB%E6%BB%FA%B1%E4%C1%BF%B5%C4%BC%AB%B4%F3%CB%C6%C8%BB%B9%C0%BC%C6


若存在未知参数θc,则可使用最大似然函数求导等于零解出,但题目中可以求出各属性的概率分布,三个属性很明显相互独立则可用联合概率公式求出题目答案:

好瓜:


色泽:

《机器学习(周志华)》Chapter7 贝叶斯分类 课后习题答案_第2张图片

根蒂:


敲声:

《机器学习(周志华)》Chapter7 贝叶斯分类 课后习题答案_第3张图片


7.2  试证明:条件独立性假设不成立时,朴素贝叶斯分类器仍有可能产生最优贝叶斯分类器。

7.3 试编程实现拉普拉斯修正的朴素贝叶斯分类器,并以西瓜数据集3.0为训练集,对p.151 “测1”样本进行判别。

查看完整代码及数据集

7.4  实践中使用式(7.15)决定分类类别时,若数据维度非常高,则概率连乘$\prod\nolimits_{i = 1}^{\rm{d}} {P(\mathop x\nolimits_i |c)} $的结果通常会非常接近于0从而导致下溢。试述防止下溢的可能方案。

从最大似然估计那节我们可以看到取对数可以防止下溢,则$$\log P(c) + \sum\limits_{i = 1}^d {\log P(\mathop x\nolimits_i |c)} $$


7.5 试证明:二分类任务中两类数据满足高斯分布并且方差相同时,线性判别分析产生贝叶斯最优分类器。

7.6 编程实现AODE分类器,并以西瓜数据集3.0为训练集,对p.151的“测1”样本进行判别。 

查看完整代码及数据集

7.7 给定d个二值属性的二分类任务,假设对于任何先验概率项的估计至少需要30个样例,则在朴素贝叶斯分类器(7.15)中估算先验概率项P(c)需30X2=60个样例。试估计在AODE式(7.23)中估算先验概率项P(c,xi)所需的样例数(分别考虑最好和最坏情形)

P(c,xi)所需要的样例数(分别考虑最好和最坏情形)


7.9 以西瓜数据集2.0为例,基于BIC准则构建一个贝叶斯网。

7.10 以西瓜数据集2.0中属性“脐部”为隐变量,试基于EM算法构建一个贝叶斯网。 


参考网址:

https://blog.csdn.net/victoriaw/article/details/78257488


你可能感兴趣的:(机器学习,机器学习,周志华,课后习题答案)