动态规划算法 决策树（ID3 C4.5）

动态规划算法(Dynamical Programming, DP)

http://creativecommons.org/licenses/by-nc-nd/3.0/deed.zh
一句话：从分硬币说起，前者（前一状态）为后者（后一状态）铺路，掌握状态与状态转移函数。

ID3

http://blog.163.com/zhoulili1987619@126/blog/static/353082012013113083417956/
一句话：用信息增益度量不同属性的分类能力，从而确定子节点，构造决策树。

然而使用信息增益的话其实是有一个缺点，那就是它偏向于具有大量值的属性。什么意思呢？就是说在训练集中，某个属性所取的不同值的个数越多，那么越有可能拿它来作为分裂属性。例如一个训练集中有10个元组，对于某一个属相A，它分别取1-10这十个数，如果对A进行分裂将会分成10个类，那么对于每一个类Info(Dj)=0，从而式（2）为0，该属性划分所得到的信息增益（3）最大，但是很显然，这种划分没有意义。
从ID3算法中衍生出了C4.5和CART两种算法

C4.5

http://blog.163.com/zhoulili1987619@126/blog/static/353082012013113083417956/
http://www.cnblogs.com/superhuake/archive/2012/07/25/2609124.html
一句话：增益比率度量是用前面的增益度量Gain(S，A)和分裂信息度量SplitInformation(S，A)来共同定义的。

分裂信息项阻碍选择值为均匀分布的属性。例如，考虑一个含有n个样例的集合被属性A彻底分割（译注：分成n组，即一个样例一组）。这时分裂信息的值为log2n。相反，一个布尔属性B分割同样的n个实例，如果恰好平分两半，那么分裂信息是1。如果属性A和B产生同样的信息增益，那么根据增益比率度量，明显B会得分更高。

CART

暂不深究。