决策树 随机森林

分类和回归都能做

决策树 随机森林_第1张图片

决策树 随机森林_第2张图片

如何选择根节点:

随着树深度增加,熵entropy降低的越快越好==>>高度最矮的决策树(高度太高时,过拟合

决策树 随机森林_第3张图片

决策树 随机森林_第4张图片

 

自身的熵 entropy   :(什么都没做时)

决策树 随机森林_第5张图片

 

选取outlook为根节点时:

决策树 随机森林_第6张图片

 

决策树 随机森林_第7张图片

 

 

 

 

 

 

 

 

 

决策树 随机森林_第8张图片

https://blog.csdn.net/Dby_freedom/article/details/82051751?utm_source=blogxgwz0

 

C4.5:     信息增益/自身的entropy

 

 

剪枝:

决策树 随机森林_第9张图片

 

随机森林:

构造出多棵决策树,共同做决策,每棵树可单独做,结果是统一得出的

随机性:

1.数据的随机选择

bootstraping:有放回采样

Bagging:有放回采样n个样本一共建立分类器

2.特征选择的随机选择

 

 

 

 

 

 

你可能感兴趣的:(决策树 随机森林)