学习笔记 | 机器学习 决策树

通过这篇博客，您将收获如下知识：

• 熟悉决策树相关的基础知识：自信息、信息熵与条件熵，信息增益和增益率，Gini 值和 Gini 指数。
• 熟悉决策树算法的关键原理，模型、策略与优化算法。
• 了解决策树中过拟合问题和剪枝处理，以及 sklearn 中决策树模型中剪枝相关的参数说明。
• 了解决策树连续值和缺失值的处理思路
• 了解决策树算法的优缺点

---

一、算法原理

决策树（Decision Tree） 是一种重要的有监督的机器学习方法。决策树有时候是指学习方法，有时是指学得的树，核心是为了模拟人类决策过程。以二分类任务为例，我们希望从给定训练数据集学得一个模型