3.2 决策树

3.2 决策树

李沐

B站：https://space.bilibili.com/1567748478/channel/collectiondetail?sid=28144
课程主页：https://c.d2l.ai/stanford-cs329p/

1. 决策树

决策树即是使用树状结构来做决策。可以分为分类树和回归树。

左边为分类的例子，输出就是类别，标签等。

右边为回归例子，输出不再是类别了，而是具体的数据，目的就是预测出房价。

决策树（单颗树）

• 优点：

  • 可解释性。决策树是为数不多的可以解释的机器学习算法，我们可以看到具体的决策过程，到底走哪个分支。

  • 可以处理数值型和类别型的特征。如果是数值类的特征，决策节点是看输入值是大于还是小于某个数值。如果是类别类的特征，决策节点是看输入值是不是这个类型。

• 缺点：

  • 鲁棒性不强。决策树是根据数据进行不断分类决策点生成的，如果数据里面夹杂噪音或者是分布变了，那么决策树也会发生改变，决策节点里面的数据也会改变。解决方案：集成学习来帮忙，生成特别复杂的大量的数，把数据的各种情况都列出来。

  • 复杂的决策树会过拟合。原因：分支太多&