机器学习 | 决策树 Decision Tree | 概念向

参考视频：【小萌五分钟】机器学习 | 决策树

决策树是什么（根节点、叶子节点、分支、深度）

AI解释——什么是决策树

• 决策树是一种用于分类和预测的机器学习算法
• 其基本思想是将数据集分成更小的子集，直到子集中的数据属于同一类别或具有相似的特征。
• 在决策树中，每个节点都代表一个特征，每个边代表一个特征值，每个叶子节点代表一个类别。
• 通过从根节点到叶子节点的路径，可以对新的数据进行分类或预测。
• 决策树通常是一种易于理解和解释的算法，可用于处理各种类型的数据，包括数字、文本和图像等数据。

决策树不仅解决分类问题，也解决回归问题

数据结构 | 二叉树和其他树

决策树：分类树——算法思想

AI解释——分类树基本思想

• 决策树中分类树的基本思想是基于特征对数据进行分类。具体来说，决策树由一个根节点、若干个中间节点和若干个叶子节点组成。根节点代表整个数据，中间节点代表数据的特征，叶子节点代表分类结果。
• 构建决策树的过程就是从根节点开始，选择最能区分数据的特征进行划分，根据该特征将数据划分为不同的子集，使得同一子集中的数据尽可能相似，不同子集中的数据尽可能不同。将数据划分为子集后，对每个子集重复上述过程，直到所有子集都被划分为纯净的类别为止。

⭐️即基本思想为：减少不确定性

如下图，按特征#1的分类结果要不特征#2好（数目2 2 难以判断）。

---

度量不确定性的指标：（详见下文）

• 分类错误率（Classification Error Rate）
• 熵（Entropy）
• 基尼指数（Gini Index）

---

分类树怎样算分类完成

• ①如下图左下角实现完全分类
  
• ②人为设定一个最大深度

分类错误率，熵，基尼指数

熵（Entropy）

针对本例的具体情况，将相关数值代入

基尼指数

分类错误率