【机器学习】集成算法——Boosting中的AdaBoost算法原理及sklearn应用

(写在前面:集成算法中基评估器可以是分类模型也可以是回归模型,因为个人习惯称基评估器为弱分类器,全文的弱分类器其实是指基评估器,而写基评估器就是基评估器,写到后面才发现这点不太严谨,后面逐步更改。另外要注意:随机森林的基评估器必定是决策树,可以是回归树也可以是分类树。XGBoost属于GBDT中的范畴,GBDT属于Boosting,Boosting的基评估器可以是回归和分类模型,而GBDT基评估器一定是回归模型,但GBDT模型虽然基是回归,但仍然可以解决分类问题,sigmoid函数)

Boosting的核心思想在上一篇博文中提过,基是有序提升的,我们这篇主要讲AdaBoost的应用,未来会再开一篇讲XGBoost,这个比较难,耗尽发丝……

【机器学习】集成算法——Boosting中的AdaBoost算法原理及sklearn应用_第1张图片

【机器学习】集成算法——Boosting中的AdaBoost算法原理及sklearn应用_第2张图片

【机器学习】集成算法——Boosting中的AdaBoost算法原理及sklearn应用_第3张图片

【机器学习】集成算法——Boosting中的AdaBoost算法原理及sklearn应用_第4张图片

【机器学习】集成算法——Boosting中的AdaBoost算法原理及sklearn应用_第5张图片

【机器学习】集成算法——Boosting中的AdaBoost算法原理及sklearn应用_第6张图片

【机器学习】集成算法——Boosting中的AdaBoost算法原理及sklearn应用_第7张图片

【机器学习】集成算法——Boosting中的AdaBoost算法原理及sklearn应用_第8张图片

你可能感兴趣的:(机器学习,大数据分析师必备套路,算法,机器学习)