三种常见的决策树：CART，C5，CHAID

决策树需要计算结点的纯度来选择最具显著性的切分（split）。通常，CART以Gini，C5以信息增益（熵），CHAID以卡方。虽然存在这样的差别，但他们树形状的不同更为重要一些。
卡方：http://wenku.baidu.com/view/7c8962eeaeaad1f346933f5f.html
C5起源于计算科学领域，讲究小样本上的重复测试比较（cross validation），进一步地，C5会进行规则（Rule Set）的概化以自动产生更为简洁的规则表达形式。牺牲一些精度来换取更好记的规则，对于业务人员来说无疑是值得的。

CART与CHAID，一个是二叉树，一个是多叉树；CART在每一个分支都选择最好的二元切分，因此一个变量（field）很可能在不同的树深处被多次使用；CHAID则一次对一个变量切分出多个统计显著的分支，会更快的生长出高预测能力的树枝，但同时在深度子结点的支持度相比CART迅速降低，更快地逼近一棵臃肿而不稳定的树。

为了避免过度拟合（over fit）而成为不稳定的树，叶结点需要裁剪（prune）。尽管CART提供了自动搜索潜在可能的树分支并根据测试集裁剪回来的策略，但事实上并不足以依赖；统计意义不是决策规则的决定因素，商业理解结合手工裁剪（custom split）可能是更好的选择。另外，少于100条数据的叶结点很可能是不稳定的，你将从测试集中发现这一点。