机器学习的分类算法——集成学习

      对于分类中集成学习算法,在不同的算法书中,叫法比较丰富。比如在周志华的西瓜书中,称为集成学习/多分类器系统/基于委员会的学习;在李航的《统计学习方法》中,称提升方法;在《数据挖掘导论》中,又称为组合方法/分类器组合。

        无论怎么称呼,根据定义,这些名称表达的意思都是一样的,即:

  • 通过聚集多个分类器的预测来提高分类准确率。

        说明:这里的“分类器”如果由一个现有的学习算法(比如C4.5决策树算法)从训练数据中产生,那么所有的分类器类型相同,可统一称为“基学习器”;如果分类器由多种学习算法生成,则把这些学习其称为“组件学习器”或“个体学习器”

        这篇学习笔记,主要是从下面几个问题入手,去理解一些常用的集成学习方法:

  • 一、为什么组合方法比任意单分类器的效果好?【理论】
  • 二、如何构建组合分类器技术?

        针对第一个问题,借用《数据挖掘导论》例题5.7:

Consider an ensemble of twenty-five binary classifiers,each of which has an error rate of = 0.35. If the base classifiers are independent—i.e., their errors are uncorrelated—then the error rate of the ensembleclassifier is:

机器学习的分类算法——集成学习_第1张图片

        例题中,组合分类器(集成学习)的规则是对所有分类器的预测结果进行多数表决。所有分类器存在两种关系,其一,它们完全等同,这意味着它们是完全相关的,即任一分类器预测错误,其余的分类器也预测错误,组合分类器的误差等于0.35;第二种情况是所有分类器误差相互独立,组合分类器的误差是所有预测错误分类器个数大于12的误差累加,为上面的0.06。

       此处,我有个问题是:如何理解分类器相互独立?

转载于:https://www.cnblogs.com/openAI/p/7450295.html

你可能感兴趣的:(机器学习的分类算法——集成学习)