决策树与随机森林

• 分类问题使用信息增益，信息增益率或者基尼系数；每个节点按少数服从多数定值
• 回归问题使用均方误差；每个节点按均值定值；
• 叶子节点的熵的加权平均值必然小于父节点，证明信息是越来越明确；
• 叶节点的加权平均熵最小的特征优先使用；
• 特征是连续时，随机取若干值，选取最优值划分；
• 基尼系数可以当成是熵的一阶泰勒展开，或是方差的加和；
• 随机森林可以不考虑特征间的耦合关系；
• 随机森林可以进行特征重要都排序；
• 使用iForest可以检测异常值，一般异常值会很快到达节点，树比较浅，综合多颗树，即可找到异常值；
• 随机森林与决策树可以预测多输出值；
• 回归问题使用MSE，因为连续值很难切分；
• 回归时，任意取值使得叶节点的加权MSE值最小，则为最佳划分；
• 重要度排序，gini系数变化性取值的，随机更改误差变化最快的为最重要的
• 决策树也可以给出概率，它代表训练集该类别的比例