Python数据分析与机器学习实战笔记(11)-决策树算法

文章目录

  • 决策树算法
    • 1. 决策树算法概述
    • 2. 熵的作用
    • 3. 信息增益原理
    • 4. 决策树构造实例
    • 5. 信息增益与gini系数
    • 6. 预剪枝和后剪枝
    • 7. 回归问题解决

决策树算法

1. 决策树算法概述

既可以做分类也可以做回归
Python数据分析与机器学习实战笔记(11)-决策树算法_第1张图片
Python数据分析与机器学习实战笔记(11)-决策树算法_第2张图片

Python数据分析与机器学习实战笔记(11)-决策树算法_第3张图片

2. 熵的作用

Python数据分析与机器学习实战笔记(11)-决策树算法_第4张图片
Python数据分析与机器学习实战笔记(11)-决策树算法_第5张图片
H ( U ) = E [ − log ⁡ p i ] = − ∑ i = 1 n p i log ⁡ p i H(U)=E\left[-\log p_{i}\right]=-\sum_{i=1}^{n} p_{i} \log p_{i} H(U)=E[logpi]=i=1npilogpi

3. 信息增益原理

Python数据分析与机器学习实战笔记(11)-决策树算法_第6张图片

4. 决策树构造实例

Python数据分析与机器学习实战笔记(11)-决策树算法_第7张图片
Python数据分析与机器学习实战笔记(11)-决策树算法_第8张图片
Python数据分析与机器学习实战笔记(11)-决策树算法_第9张图片
Python数据分析与机器学习实战笔记(11)-决策树算法_第10张图片

5. 信息增益与gini系数

Python数据分析与机器学习实战笔记(11)-决策树算法_第11张图片
Python数据分析与机器学习实战笔记(11)-决策树算法_第12张图片

6. 预剪枝和后剪枝

Python数据分析与机器学习实战笔记(11)-决策树算法_第13张图片

7. 回归问题解决

使用方差值代替熵值

你可能感兴趣的:(Python数据分析与机器学习实战笔记(11)-决策树算法)