ID3算法应用举例

利用ID3算法实现从数据集归纳出决策树。

背景：
张三想要买一套房，可能左右他是否愿意购买这套房主要有四个方面的因素，这四种因素及可能出现的值如下表所示：

院子	车库数	楼层数	地理位置
大/小	1/2/3	2/3	城郊/市中心

张三看了14套房子，以下是这些房子具备的属性以及张三对于购买这些房子的意愿：

院子	车库数	楼层数	地理位置	是否愿意购买
大	3	2	城郊	是
小	2	3	市中心	是
小	1	3	市中心	否
小	2	3	城郊	是
大	3	3	市中心	是
大	2	3	市中心	是
小	2	2	市中心	否
小	3	3	城郊	是
大	1	2	市中心	是
大	1	3	城郊	是
小	3	2	城郊	是
大	2	2	城郊	否
大	1	2	城郊	是
小	1	2	城郊	否

在这14套房中，张三愿意购买的有10套，不愿意购买的有4套。由此可得原表格的熵为：
$$H(S)=-\frac{4}{14}lo{g}_2\frac{4}{14}-\frac{10}{14}lo{g}_2\frac{10}{14}$$
每个因素的信息增益：

院子	愿意	不愿意
大	6	1
小	4	3

$$G(S,院子)=H(S)-\frac{|S_{大}|}{|S|}H(S_{大})-\frac{|S_{小}|}{|S|}H(S_{小})=0.072$$

车库数	愿意	不愿意
1	3	2
2	3	2
3	4	0

$$G(S,车库数)=H(S)-\frac{|S_1|}{|S|}H(S_1)-\frac{|S_2|}{|S|}H(S_2)-\frac{|S_3|}{|S|}H(S_3)=0.166$$

楼层数	愿意	不愿意
2	4	3
3	6	1

$$G(S,楼层数)=H(S)-\frac{|S_2|}{|S|}H(S_2)-\frac{|S_3|}{|S|}H(S_3)=0.072$$

地理位置	愿意	不愿意
市中心	4	2
郊区	6	2

$$G(S,地理位置)=H(S)-\frac{|S_{市中心}|}{|S|}H(S_{市中心})-\frac{|S_{郊区}|}{|S|}H(S_{郊区})=0.003$$
显然，车库数的信息增益远大于其他三项，且当车库数为3时所有结果均为愿意，因此初始决策树如下图所示：

1

3

2

车库数

愿意/不愿意=3/2

愿意

愿意/不愿意=3/2

对于只有1个车库的房子，房子具备的属性以及张三对于购买这些房子的意愿如下所示：

院子	楼层数	地理位置	是否愿意购买
小	3	市中心	否
大	2	市中心	是
大	3	城郊	是
大	2	城郊	是
小	2	城郊	否

此表格的熵为：
$$H(S)=-\frac{3}{5}lo{g}_2\frac{3}{5}-\frac{2}{5}lo{g}_2\frac{2}{5}=0.971$$
其中每个属性的信息增益：
$$G(S,院子)=H(S)-\frac{|S_{大}|}{|S|}H(S_{大})-\frac{|S_{小}|}{|S|}H(S_{小})=0.971$$
$$G(S,楼层数)=H(S)-\frac{|S_2|}{|S|}H(S_2)-\frac{|S_3|}{|S|}H(S_3)=0.020$$
$$G(S,地理位置)=H(S)-\frac{|S_{市中心}|}{|S|}H(S_{市中心})-\frac{|S_{郊区}|}{|S|}H(S_{郊区})=0.020$$
于是决策树可以以“院子大小”为标准，进一步划分，如下所示：

1

3

2

大

小

车库数

院子大小

愿意

愿意/不愿意=3/2

愿意

不愿意

对于只有2个车库的房子，房子具备的属性以及张三对于购买这些房子的意愿如下所示：

院子	楼层数	地理位置	是否愿意购买
小	3	市中心	是
小	3	城郊	是
大	3	市中心	是
小	2	市中心	否
大	2	城郊	否

此表格的熵为：
$$H(S)=-\frac{3}{5}lo{g}_2\frac{3}{5}-\frac{2}{5}lo{g}_2\frac{2}{5}=0.971$$
其中每个属性的信息增益：
$$G(S,院子)=H(S)-\frac{|S_{大}|}{|S|}H(S_{大})-\frac{|S_{小}|}{|S|}H(S_{小})=0.020$$
$$G(S,楼层数)=H(S)-\frac{|S_2|}{|S|}H(S_2)-\frac{|S_3|}{|S|}H(S_3)=0.971$$
$$G(S,地理位置)=H(S)-\frac{|S_{市中心}|}{|S|}H(S_{市中心})-\frac{|S_{郊区}|}{|S|}H(S_{郊区})=0.020$$
由此易得完整的决策树，如下所示：

1

3

2

大

小

2

3

车库数

院子大小

愿意

楼层数

愿意

不愿意

不愿意

愿意