《机器学习（周志华）》Chapter8 集成学习 课后习题答案

闲时完善-------------------------------------------------------------------------------------------------------------------

8.1 假设抛硬币正面朝上的概率为p，反面朝上的概率为1 - p. 令H(n)代表抛n次硬币所得到正面朝上的次数，则最多k次正面朝上的概率为\[p(H(n) \le k) = \sum\limits_{i = 0}^k {\left( {_i^n} \right)} \mathop p\nolimits^i \mathop {(1 - p)}\nolimits^{n - i} \]

对δ>0,k=(p-δ)n，有Hoeffding不等式\[p(H(n) \le (p - \delta )n) \le \mathop e\nolimits^{ - 2\mathop \delta \nolimits^2 n} \]试推导出试（8.3）。

由题意可知当k=(p-δ)n可得出Hoeffding不等式，同理8.3式对T个基分类器采用简单投票法若有超过半数的基分类器正确，集成分类器分类正确，则将k替换成T/2，n替换成T有：\[\frac{T}{2} = (p - \delta )T\]可解出：

\[\delta  = p - \frac{1}{2} = \frac{{2p - 1}}{2}\]

应为p为分类正确概率，所以p=1-ε，可得：\[\delta  = \frac{{1 - 2\varepsilon }}{2}\]代入到Hoeffding不等式即可得到8.3式

8.2 对于0/1损失函数来说，指数损失函数并非仅有的一致替代函数。考虑式（8.5），试证明：任意损失函数\(\ell ( - f(x)H(x))\)，若对H(x)在区间[-∞, δ](δ>0)上单调递减，则l是0/1损失函数的一致替代函数。

当H(x)小于0，因为单调递减，所以当f(x)大于0损失才最小

当H(x)大于于0，单调递减，所以当f(x)小于0损失才最小

8.3 从网上下载或自己编程实现AdaBoost，以不剪枝决策树为基学习器，在西瓜数据集3.0α上训练一个AdaBoost集成，并与图8.4进行比较。

8.4 GradientBoosting是一种常用的Boosting算法，试析其与AdaBoost的异同。

8.5 试编程实现Bagging，以决策树桩为基学习器，在西瓜数据集3.0α上训练一个Bagging集成，并与图8.6进行比较。

8.6 试析Bagging通常为何难以提升朴素贝叶斯分类器的性能。

8.7 试析随机森林为何比决策树Bagging集成的训练速度更快。

8.8 MultiBoosting算法将AdaBoost作为Bagging的基学习器，Iterative Bagging算法则是将Bagging作为AdaBoost的基学习器。试比较二者的优缺点。

8.9 试设计一种可视的多样性度量，对习题8.3和习题8.5中得到的集成进行评估，并与k-误差图比较。

8.10 试设计一种能提升k近邻分离器性能的集成学习算法。