决策树算法

第1关：C4.5算法

任务描述
本关任务：编写一个利用C4.5决策树进行分类的程序

相关知识
为了完成本关任务，你需要掌握：1.C4.5算法基本原理。2.信息增益率的计算。3.C4.5算法构建过程

C4.5算法
C4.5是机器学习算法中一个决策树算法，它是基于ID3算法进行改进后的一种重要算法，相对于ID3算法的改进：

1.用信息增益来选择属性。ID3选择属性用的是子树的信息增益，这里可以用很多方法来定义，ID3使用的是熵，也就是熵的变化值，而C4.5用的是信息增益率
2.在构造决策树的过程中会进行剪枝，剔除掉一些不利于分类的子树
3.对非离散数据也可以处理，能够对不完整数据进行处理

from math import log
def calc_shannonent(dataset):
    """
    :param dataset: 需要计算信息熵的数据
    :return: 返回该数据的类别