机器学习之随机森林
随机森林具体的构建方法是
（1）从原始样本集m个样本中使用bootstrap采样法选出m个样本；
（2）从所有n个属性中随机选择k个属性（若k=n则基决策树的构建与传统的决策树相同，若k=1则是随机选择一个属性用于划分），一般令k的值为log2n；
（3）选择最佳分割属性（ID3、C4.5、CART）作为节点创建决策树；
（4）每棵决策树都进行最大程度地生长，且不进行剪枝；
（5）重复以上4步S次，建立S棵决策树，即形成随机森林；
（6）在分类问题中通过多数投票法决定输出属于哪一分类；在回归问题中输出所有决策树输出的平均值。
随机森林的主要优点
（1）实现简单、准确率高；
（2）并行训练，计算开销小，能够高效地对大数据集进行训练；
（3）能够处理高维特征的输入样本，且不需要降维操作；
（4）能够评估各个特征在分类问题上的重要性；
（5）对部分特征的缺失不敏感；
（6）能够取到内部生成误差的一种无偏估计，不需要交叉验证或者用一个独立的测试集获得误差的无偏估计；
（7）由于存在随机抽样，训练出来的模型方差小，泛化能力强。
随机森林的主要缺点
（1）在某些噪音比较大的特征上，RF模型容易陷入过拟合；
（2）取值比较多的特征对RF的决策会产生更大的影响，有可能影响模型的效果；
（3）随机森林解释性不强，有点像黑盒模型。
RF袋外估计
随机森林分类效果与两个因素有关：
（1）RF中任意两棵树的相关性越大（即特征选择个数k增大），则整个森林的错误率就越高；
（2）RF中每棵树的分类能力越强（即特征选择个数k减小），则整个森林的错误率就越低。
因此关键问题在于如何选择最优的k值，这也是RF唯一的一个参数。
在构建每棵树时，原数据集中有36.8%的样本成为该树的oob样本，oob估计是随机森林泛化误差的一个无偏估计，它的结果近似于需要大量计算的k折交叉验证，计算方式为：
对每个样本，计算它作为oob样本的树对它的分类情况（约36.8%的树）；
然后以简单多数投票作为该样本的分类结果；
最后用误分个数占样本总数的比率作为随机森林的oob误分率。
特征重要度
对于一个高维度数据集，如何在其中选择影响比较大的特征，以减少特征维度是我们比较关心的问题，降维的方法有很多，比如PCA、LDA、LASSO等。在这里可以用随机森林来对特征重要度进行考量。
作为单个的决策树模型，在模型建立时实际上是寻找到某个特征合适的分割点，这个信息可以作为衡量所有特征重要性的一个指标。基本思想是，如果一个特征被选为分割点的次数越多，那么这个特征的重要性就越强，推广到集成算法中，是将每棵树的特征重要性取均值。
评价指标一般为Gini index（或oob等），在sklearn中可直接调用封装好的方法：rf.feature_importances_
使用Gini指数对特征属性重要度进行排序时，会偏向于选择取值范围较大的特征；当存在相关特征时，一个特征被选择后，与其相关的特征的重要度会变得很低，因为它们可以减少的不纯度已经被前面的特征移除了。
RF scikit-learn相关参数
集成规模对随机森林与Bagging的影响（西瓜书）
RF的收敛性与Bagging相似，RF的起始性能往往相对较差，这是因为通过引入属性扰动，RF中个体学习器的性能往往有所降低。然而随着个体学习器数目的增加，RF通常会收敛到更低的泛化误差。
RF的推广算法
RF算法在实际应用中具有比较好的特性，应用也比较广泛，如：分类、回归、特征转换、异常点检测等。常见的RF变种算法有：Extra-Trees（ET）、Totally Random Trees Embedding（TRTE）、Isolation Forest
1、Extra-Trees（Extremely Randomized Trees）
ET原理类似RF，区别如下：
（1）RF会使用bootstrap采样来作为决策树的训练集。而ET每个子决策树采用整个原始数据集进行训练；
（2）RF选择划分特征时会和传统决策树一样，基于信息增益、信息增益率、基尼指数、均方差等原则来选择最优特征值。而ET则随机选择一个特征划分决策树，训练速度优于RF（寻找最优分割属性比较耗时）。
因为ET是随机选择特征的划分点，比RF多一层随机性，这样会再次增加偏差、减小方差，导致决策树的规模一般大于RF所生成的决策树，在某些情况下泛化能力更强。
构建好ET后，可以用全部的训练样本得到其预测误差，方法与RF相同。
2、TRTE（Totally Random Trees Embedding）
TRTE是一种非监督的数据转化方式，将低维的数据映射到高维稀疏表示，从而让映射到高维的数据更好的应用于分类回归模型。sklearn的文档描述的很清楚：
An unsupervised transformation of a data set to a high-dimensional sparse representation.A data point is coded according to which leaf of each tree it is sorted into. Using a one-hot encoding of the leaves, this leads to a binary coding with as many ones as there are trees in the forest.
The dimensionality of the resulting representation is n_out <= n_estimators * max_leaf_nodes. If max_leaf_nodes == None, the number of leaf nodes is at most n_estimators * 2 ** max_depth.
TRTE算法的转换过程类似RF，例如建立3个决策树来拟合数据，每个决策树有5个叶子节点。当决策树构建完成后，数据集里的每个数据在决策树中叶子节点的位置就定下来了：设某个数据特征x划分到第一棵决策树的第2个叶子节点、第二棵决策树的第3个叶子节点、第三棵决策树的第5个叶子节点，则x映射后的特征编码为（0,1,0,0,0, 0,0,1,0,0, 0,0,0,0,1），即15维的稀疏特征，完成了将位置信息转换为向量的特征转换操作。
3、Isolation Forest（IForest）
IForest（孤立森林）是一种异常点检测算法，使用类似RF的方式来检测异常点，IForest算法与RF算法的区别在于：
（1）在随机采样的过程中，一般只需要取得少量的数据即可；
（2）在进行决策树构建过程中，IForest算法会随机选择一个划分特征，并对划分特征随机选择一个划分阈值；
（3）IForest算法构建的决策树一般深度是比较小的。
区别原因：目的是异常检测，所以只要能够区分异常的数据即可，不需要大量的数据；在异常点的检测过程中，一般不需要构建太大规模的决策树（在前几个分支就可以判断出异常点）。
对于异常点的判断，则是将测试样本x拟合到T棵决策树上，计算在每棵树上该样本的叶子结点深度ht(x)，从而计算出平均深度h(x)；然后就可以使用下列公式计算样本点x的异常概率值，p(s,m)的取值范围为[0,1]，越接近于1，则该点是异常点的概率就越大。
；其中m为样本个数，ξ为欧拉常数