《百面机器学习》-- 集成学习分那几种,他们有何异同?

鉴于笔者所在公司最近爆出财务丑闻,公司前景堪忧。裁员也只是时间问题,所以又要拿起书本,投入到新一轮的复习、投简历、找工作的紧张节奏中。最近使用树模型较多,所以从集成学习入手。

问题:集成学习分那几种,他们有何异同?
答: 集成学习主要分为boosting 和 bagging
其中boosting在训练基分类器时采用串行方式,各个基分类器之间有依赖。类似人类学习的过程,第一遍学习中产生的错误,在第二遍学习中加强学习,不断往复,直到犯错误的次数减小到最低程度。
bagging与其相反,各个基分类器之间没有依赖。可以进行并行训练,各个基分类器学习的内容可以相同,不同,或重叠,决策时,每个人体单独做出判断,并通过投票的方式集体决策(随机森林就是基于bagging)

你可能感兴趣的:(《百面机器学习》-- 集成学习分那几种,他们有何异同?)