决策树 C4.5 公式流程

决策树 C4.5 公式流程

注意! 这里由2种成分组成：属性（年龄、有工作、有自己的房子、信贷情况）和类别组成。

那么：

1. 决策类别的信息熵： $$Info(D)=\sum -每个类别总占比\ast (lo{g}_2每个类别总占比)$$ 例如： Info(类别)= -6/15x(log₂6/15) - 9/15x(log₂9/15)
2. 每个属性的信息熵： $$Info(attr)=\sum attr属性每个分类总占比\ast [-attr属性每个分类中每个类别的占比]$$ 例如：Info(年龄)= 5/15 x (-3/5log₂3/5 - 2/5log₂2/5) + 5/15 x (-2/5log₂2/5 -3/5log₂3/5) + 5/15 x (-1/5log₂1/5 - 4/5log₂4/5)
3. 信息增益：Gain(attr) = Info(D)-Info(attr) 例如：Info(类别)-Info(年龄)
4. 内在信息（惩罚）: $$H(attr)=\sum -attr每个分类总占比\ast lo{g}_{2}attr每个分类总占比$$ 例如H(年龄) = -5/15 x log₂5/15 - 5/15 x log₂5/15 -5/15 x log₂5/15
5. 信息增益率： IGR(attr) = Gain(attr) / H(attr) 例如：IGR(年龄)=Gain(年龄)/H(年龄)