集成学习-随机森林

1.集成学习

集成学习是通过构建多个学习器完成任务，将多个个体学习器利用某种策略结合起来达到降低错误率的目的。

image.png

2.Boosting与Bagging

根据个体学习器的生成方式，目前的集成学习方法大致分为两大类：
a.个体学习器间存在强依赖关系，必须通过串行生成的序列化方法，代表：Boosting
b.个体学习器间不存在强依赖关系，可以同时并行生成的方法，代表Bagging和随机森林(Random Forest)

2.1.Boosting

Boosting是一类将弱学习器提升为强学习器的算法。

工作机制

先从初始训练集训练出一个基学习器，再根据基学习器的表现对训练样本分布进行调整，使得先前基学习器做错的样本在后续受到更多的关注，然后基于调整后的样本分布来训练下一个基学习器，如此进行，直至基学习器的数目达到预设值T，最终将T个基学习器加权结合。
是一种反复迭代提升的集成器

2.2Bagging

Bagging即套袋法，基于自助采样法(Bootstrap sampling)训练多个基学习器采用投票策略可以实现多分类回归的任务。

使用Bootstrap采样的原因

想要得到泛化性能更强的集成，基学习器应尽可能相互独立，一种方法是对训练样本进行采样，再从每个采样数据子集中训练出一个基学习器，
然而为了获得好的集成，同时还希望个体学习器不能太差，如果采样出的每个子集都完全不同，则每个基学习器只用到了一小部分训练数据，不足以有效的学习。

2.2.1工作机制：

a.抽取训练集
使用Bootstrap方法抽取m个训练样本，共进行k次抽取，抽取过程独立，每次抽取训练集可能重复。
b.训练基学习器
k个训练集可采用不同的训练算法训练基学习器，得到k个模型
c.集成投票
分类问题：将上步得到的k个模型采用投票的方式得到分类结果；
回归问题：计算上述模型的均值作为最后的结果

2.2.2包外估计

使用自助采样过程还给Bagging带来另外一个优点：由于在每个基学习器中只使用了初始训练集中63.2%的样本，剩下36.8%的样本可以作为验证集对泛化性能进行包外估计

• 当基学习器是决策树时，可以使用包外样本来辅助剪枝
• 当基学习器是神经网络时，可使用包外样本来辅助早期停止以减小过拟合的风险

3.随机森林

RF在以决策树为基学习器的基础上构建Bagging集成，它进一步的在决策树的训练过程中引入了随机属性选择。传统的决策树在选择划分属性时是在当前节点的属性集合d中选择一个最优属性，而在RF中，在d个属性中随机选择k个属性子集，在子集中选择一个最优属性用户划分，k=d，时，RF与传统的决策树相同，k=1时，随机选择一个属性进行划分，推荐k=logd

3.1训练过程

a.使用Bootstrp方法，从训练集中随机有放回的抽取m个样本，形成n个训练集
b.从d个特征中随机选择k个特征子集，从k个特征子集选择最优特征进行划分，每棵树都不进行剪枝
c.将生成的多棵决策树组成随机森林。对于分类问题，按多棵树分类器投票决定最终分类结果；对于回归问题，由多棵树预测值的均值决定最终预测结果

3.2随机森林的优点

• 具有极高的准确率
• 随机性的引入，使得随机森林不容易过拟合
• 随机性的引入，使得随机森林有很好的抗噪声能力
• 能处理很高维度的数据，并且不用做特征选择
• 既能处理离散型数据，也能处理连续型数据，数据集无需规范化
• 训练速度快，可以得到变量重要性排序
• 容易实现并行化

3.3随机森林的缺点

• 当随机森林中的决策树个数很多时，训 练时需要的空间和时间会较大
• 随机森林模型还有许多不好解释的地方，有点算个黑盒模型

4.代码实现

使用python的sklearn包里的鸢尾花数据：

image.png

image.png

每个样本包含四个特征和一个类别属性

#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @File  : iris_test.py
# @Author: Wong
# @Date  : 2019/2/3
# @Desc  : 使用鸢尾花数据集
from sklearn.datasets import load_iris
from sklearn.ensemble import RandomForestClassifier
import pandas as pd
import numpy as np

#加载数据
iris=load_iris()
#创建二维表格，每一列都是属性名
df=pd.DataFrame(iris.data,columns=iris.feature_names)
#以0.75的概率随机选择训练样本，其他的作为测试样本
df['is_train'] = np.random.uniform(0,1,len(df)) <=0.75
#显示类别
df['species'] = pd.Categorical.from_codes(iris.target, iris.target_names)
df.head()

#得到训练集和测试集
train = df[df['is_train']==True]
test = df[df['is_train']==False]

#选取前4个属性名称
features = df.columns[:4]

#2线程并行创建随机森林
clf = RandomForestClassifier(n_jobs=2)


#factorize方法返回一个二元组，第一个是数组元素，返回集合中元素的标称
#第二个是返回不重复的元素，相当于把三种类别转换为1，2，3
y,_ = pd.factorize(train['species'])

clf.fit(train[features],y)

preds =iris.target_names[clf.predict(test[features])]

actual=test['species'].tolist()

data = {"preds":preds,"actual":actual}
print(pd.DataFrame(data))


#计算误差
acc = (preds == actual) + 0
acc = (sum(acc))/len(acc)

print("The accuracy is ",acc)

最后得到预测结果和真实结果的对比：

image.png

以及正确率：

image.png