深度学习基础介绍_机器学习5_决策树算法

机器学习中分类和预测算法的评估：

准确性
速度
强壮性
可规模性
可解释性

决策树(decision tree):

决策树是类似流程图的树结构。
每一个内部结点表示在一个属性上的测试，没一个分支代表一个属性的输出，而每个树叶结点代表类或类分布。

构造决策树基本算法：

熵：entropy(信息熵)
    变量的不确定性越大，熵越大。
    计算信息熵的公式

屏幕快照 2017-02-05 下午10.52.59.png

决策树归纳算法(ID3)

总结：

屏幕快照 2017-02-05 下午11.03.13.png

屏幕快照 2017-02-05 下午11.06.38.png

屏幕快照 2017-02-05 下午11.07.02.png

来源：

https://www.youtube.com/watch?v=4HXLUUmGvMM