机器学习笔记：随机森林

随机森林

随机森林是一种集成算法，是对决策树模型的集成学习。目的是通过考虑多个评估器建模结果，汇总得到一个综合结果。 集成算法包括bagging（装袋法），boosting（提升法），stacking（堆栈法）三种。 装袋法的核心思想是构建多个相互独立的评估器，然后对其预测进行平均或多数表决原则来决定集成评估器的结果。装袋法的代表模型就是随机森林。 提升法中，基评估器是相关的，是按顺序一一构建的。其核心思想是结合弱评估器的力量一次次对难以评估的样本进行预测，从而构成一个强评估器。提升法的代表模型有Adaboost和梯度提升树。

其中随机森林是采用bagging的方法实现，它其中的每一棵树是相对独立的。
采用少数服从多数，有放回随机抽样。
建立25棵树中的13棵树（以上）判错，随机森林才会判断错误。
目的是使单棵树的效果最大化。（决策树准确率至少百分之五十，否则随机森林的效果不会好于决策树）

---

---

模型建立

数据集选用sklearn自带的乳腺癌数据集

from sklearn.datasets import load_breast_cancer
from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import train_test_split 
data = load_breast_cancer()
Xtrain, Xtest, Ytrain, Ytest = train_test_split(data.data,data.target