随机森林算法
随机森林算法
1．1 题目的主要研究内容
（1）随机森林的基本原理，随机森林的构造过程，使用Python构建和使用随机森林算法，随机森林实现过程中遇到的问题。
（2）对随机森林的构造过程讲解，利用python进行随机森林构造过程进行演示，并随机输入一个样本，预测模型正确率。
1．2 题目研究的工作基础或实验条件
（1）硬件：PC机
（2）软件：python
1．3 设计思想
随机森林算法是最常用的监督学习算法之一，它兼顾了解决回归问题和分类问题的能力。随机森林是通过集成学习的思想，将多棵决策树进行集成的算法。对于分类问题，其输出的类别是由个别树输出的众数所决定的。在回归问题中，把每一棵决策树的输出进行平均得到最终的回归结果。
因此用随机的方式建立一个森林，森林里面有很多的决策树组成，随机森林的每一棵决策树之间是没有关联的。在得到森林之后，当有一个新的输入样本进入的时候，就让森林中的每一棵决策树分别进行一下判断，看看这个样本应该属于哪一类（对于分类算法），然后看看哪一类被选择最多，就预测这个样本为那一类。随机森林可以既可以处理属性为离散值的量，比如ID3算法，也可以处理属性为连续值的量，比如C4.5算法。此外还有CART算法，在这里我们选择的就是利用CART决策树，既可以用作分类（判别）树，也可以用作回归（预测）树。
- 4 生成原理
样本随机：假设训练数据集共有M个对象的数据，从样本数据中采取有放回（Boostrap）随机抽取N个样本（因为是有放回抽取，有些数据可能被选中多次，有些数据可能不被选上），每一次取出的样本不完全相同，这些样本组成了决策树的训练数据集。
特征随机：假设每个样本数据都有K个特征，从所有特征中随机地选取k（k<=K）个特征，选择最佳分割属性作为节点建立CART决策树，决策树成长期间k的大小始终不变（在Python中构造随机森林模型的时候，默认取特征的个数k是K的平方根）。
重复前面的步骤，建立m棵CART树，这些树都要完全的成长且不被修剪，这些树形成了森林。
根据这些树的预测结果进行投票，决定样本的最后预测类别。针对回归模型，是根据这些决策树模型的平均值来获取最终的结果。
首先是两个随机采样的过程，random forest对输入的数据要进行行、列的采样。对于行采样，采用有放回的方式，也就是在采样得到的样本集合中，可能有重复的样本。假设输入样本为N个，那么采样的样本也为N个。这样使得在训练的时候，每一棵树的输入样本都不是全部的样本，使得相对不容易出现over-fitting（过拟合）。然后进行列采样，从M个feature中，选择m个（m << M）。
之后就是对采样之后的数据使用完全分裂的方式建立出决策树，这样决策树的某一个叶子节点要么是无法继续分裂的，要么里面的所有样本的都是指向的同一个分类。一般很多的决策树算法都一个重要的步骤——剪枝，但是这里并不会这样做，由于之前的两个随机采样的过程保证了随机性，所以就算不剪枝，也不会出现over-fitting（过拟合）。
1．4 流程图
1．5 主要程序代码
# 建立一棵CART树
'''试探分枝'''
def data_split(index, value, dataset):
left, right = list(), list()
for row in dataset:
if row[index] < value:
left.append(row)
else:
right.append(row)
return left, right
'''计算基尼指数'''
def calc_gini(groups, class_values):
gini = 0.0
total_size = 0
for group in groups:
total_size += len(group)
for group in groups:
size = len(group)
if size == 0:
continue
for class_value in class_values:
proportion = [row[-1] for row in group].count(class_value) / float(size)
gini += (size / float(total_size)) * (proportion * (1.0 - proportion))
return gini
'''找最佳分叉点'''
def get_split(dataset, n_features):
class_values = list(set(row[-1] for row in dataset))
b_index, b_value, b_score, b_groups = 999, 999, 999, None
features = list()
while len(features) < n_features:
index = randint(0, len(dataset[0]) - 2) # 往features添加n_features个特征（n_feature等于特征数的根号），特征索引从dataset中随机取
if index not in features:
features.append(index)
for index in features:
for row in dataset:
groups = data_split(index, row[index], dataset)
gini = calc_gini(groups, class_values)
if gini < b_score:
b_index, b_value, b_score, b_groups = index, row[index], gini, groups
return {'index': b_index, 'value': b_value, 'groups': b_groups} # 每个节点由字典组成
'''多数表决'''
def to_terminal(group):
outcomes = [row[-1] for row in group]
return max(set(outcomes), key=outcomes.count)
'''分枝'''
def split(node, max_depth, min_size, n_features, depth):
left, right = node['groups']
del (node['groups'])
if not left or not right:
node['left'] = node['right'] = to_terminal(left + right) # 叶节点不好理解
return
if depth >= max_depth:
node['left'], node['right'] = to_terminal(left), to_terminal(right)
return
if len(left) <= min_size:
node['left'] = to_terminal(left)
else:
node['left'] = get_split(left, n_features)
split(node['left'], max_depth, min_size, n_features, depth + 1)
if len(right) <= min_size:
node['right'] = to_terminal(right)
else:
node['right'] = get_split(right, n_features)
split(node['right'], max_depth, min_size, n_features, depth + 1)
'''建立一棵树'''
def build_one_tree(train, max_depth, min_size, n_features):
root = get_split(train, n_features)
split(root, max_depth, min_size, n_features, 1)
return root
'''用森林里的一棵树来预测'''
def predict(node, row):
if row[node['index']] < node['value']:
if isinstance(node['left'], dict):
return predict(node['left'], row)
else:
return node['left']
else:
if isinstance(node['right'], dict):
return predict(node['right'], row)
else:
return node['right']
1．6 运行结果及分析
由运行结果可以看出此算法的模型准确率达到了75.6%，并没有出现过拟合的问题，其实模型准确率还有进一步提升的空间，可以增加训练集的数据来提高模型准确率，在实验的过程中，有可能会出现训练集表现好，测试集表现差，这有可能是数据本身的问题，你的验证集和测试集的划分很可能不是随机的,也就是两个数据集分布有明显不同，可以采用交叉验证来试一下。