决策树相关算法

本博文记录决策树相关算法原理，用来对付面试问题…

决策树

决策树信息熵：
$entropy(D)=-{\sum }_{i=1}^n{P}_{i}lo{g}_2{P}_i$
$Gain(A)=entropy(D)-entrop{y}_A(D)$
最大化$Gain（A）$

随机森林

多棵决策树，只不过训练集不同。每棵决策树从训练集中有放回地抽取N个样本来训练。最后投票决定分类结果。

Gradient Boosting Tree

还是多棵决策树，只不过后一个树的生成是基于前面树的学习结果生成的。