机器学习——Adaboost(未开始)

Adaboost,与随机森林相似,也是由多个学习器共同决定最终分类的

但Adaboost和随机森林的区别,有两个:
①学习器关系不同:

  • 随机森林的学习器关系:学习器相互独立,每个学习器的权重都一样
  • Adaboost的学习器关系:学习器递进演变,每个学习器的权重也是独立的,但样本权重是基于上一个学习器的分类情况决定

②最终分类决定方式不同:

  • 随机森林的最终分类结果:每个学习器都有一个分类结果,每个学习器权重都一样,最终按票高者决出最终分类结果
  • Adaboost的最终分类结果:每个学习器的权重不同,每个学习器权重不一样,最终按加权求和结果决出最终分类结果

Adaboost的设计链路是这样的:
先用全部样本训练一个学习器,但不是

首先,Adaboost有两种性质的权重:

  • 样本权重D:每条数据都有一个权重
  • 特征权重W:每条数据里的每个特征x,都有一个权重

需要解决的几个问题:
1、为什么每个学习器权重 H = 1 2 l n ( 1 − e e ) H = \frac{1}{2}ln(\frac{1-e}{e}) H=21ln(e1e)
2、为什么样本的权重为

你可能感兴趣的:(统计学习,机器学习基础,机器学习,人工智能)