《机器学习(周志华)》Chapter8 集成学习 课后习题答案

闲时完善-------------------------------------------------------------------------------------------------------------------

8.1 假设抛硬币正面朝上的概率为p,反面朝上的概率为1 - p. 令H(n)代表抛n次硬币所得到正面朝上的次数,则最多k次正面朝上的概率为\[p(H(n) \le k) = \sum\limits_{i = 0}^k {\left( {_i^n} \right)} \mathop p\nolimits^i \mathop {(1 - p)}\nolimits^{n - i} \]

对δ>0,k=(p-δ)n,有Hoeffding不等式\[p(H(n) \le (p - \delta )n) \le \mathop e\nolimits^{ - 2\mathop \delta \nolimits^2 n} \]试推导出试(8.3)。


由题意可知当k=(p-δ)n可得出Hoeffding不等式,同理8.3式对T个基分类器采用简单投票法若有超过半数的基分类器正确,集成分类器分类正确,则将k替换成T/2,n替换成T有:\[\frac{T}{2} = (p - \delta )T\]可解出:

\[\delta  = p - \frac{1}{2} = \frac{{2p - 1}}{2}\]

应为p为分类正确概率,所以p=1-ε,可得:\[\delta  = \frac{{1 - 2\varepsilon }}{2}\]代入到Hoeffding不等式即可得到8.3式


8.2 对于0/1损失函数来说,指数损失函数并非仅有的一致替代函数。考虑式(8.5),试证明:任意损失函数\(\ell ( - f(x)H(x))\),若对H(x)在区间[-∞, δ](δ>0)上单调递减,则l是0/1损失函数的一致替代函数。


当H(x)小于0,因为单调递减,所以当f(x)大于0损失才最小

当H(x)大于于0,单调递减,所以当f(x)小于0损失才最小



8.3 从网上下载或自己编程实现AdaBoost,以不剪枝决策树为基学习器,在西瓜数据集3.0α上训练一个AdaBoost集成,并与图8.4进行比较。

8.4 GradientBoosting是一种常用的Boosting算法,试析其与AdaBoost的异同。

8.5 试编程实现Bagging,以决策树桩为基学习器,在西瓜数据集3.0α上训练一个Bagging集成,并与图8.6进行比较。

8.6 试析Bagging通常为何难以提升朴素贝叶斯分类器的性能。

8.7 试析随机森林为何比决策树Bagging集成的训练速度更快。

8.8 MultiBoosting算法将AdaBoost作为Bagging的基学习器,Iterative Bagging算法则是将Bagging作为AdaBoost的基学习器。试比较二者的优缺点。

8.9 试设计一种可视的多样性度量,对习题8.3和习题8.5中得到的集成进行评估,并与k-误差图比较。

8.10 试设计一种能提升k近邻分离器性能的集成学习算法。


你可能感兴趣的:(机器学习)