机器学习--Adaboost

机器学习--Adaboost

    • boosting思想
    • 算法流程
    • 为什么能收敛?
    • 理解

boosting思想

机器学习--Adaboost_第1张图片

算法流程

1.考虑权值进去,初始化相等权值
机器学习--Adaboost_第2张图片
2.给基本分类器加权值!
谁的误差率越小,谁的权值就越大!
机器学习--Adaboost_第3张图片
3.更新样本权值
若样本预测错误,测样本的权值升高!
机器学习--Adaboost_第4张图片
4.构建基本分类器的线性组合,得到最终分类器
机器学习--Adaboost_第5张图片

为什么能收敛?

机器学习--Adaboost_第6张图片
机器学习--Adaboost_第7张图片
机器学习--Adaboost_第8张图片

理解

机器学习--Adaboost_第9张图片
机器学习--Adaboost_第10张图片
机器学习--Adaboost_第11张图片
机器学习--Adaboost_第12张图片
bagging:基分类器相互独立
m*(均值/m) = 均值
m*(方差/m)^2 = 方差/m
故方差可以减小
boosting:基分类器基于之前的基分类器改进,可以减小偏差

你可能感兴趣的:(机器学习,算法,机器学习,python,数据挖掘)