深入决策树算法

系统讲解了DT 算法理论


  主要内容:


          1、决策树算法

          2、Entroy

          3、Information Gain


例图

DT 一般都是非线性分界面

深入决策树算法_第1张图片


sklearn 运行效果图


深入决策树算法_第2张图片


参数的作用

min_samples_split

深入决策树算法_第3张图片

一直区分到集合只有两个元素,可以忽略

深入决策树算法_第4张图片

min_samples_split 太小导致overfitting

深入决策树算法_第5张图片
深入决策树算法_第6张图片


Entropy


深入决策树算法_第7张图片


数学推倒


深入决策树算法_第8张图片


深入决策树算法_第9张图片



深入决策树算法_第10张图片


Information Gain

信息增益,,主要用来算多个feature时使用哪个feature 来分割界面


深入决策树算法_第11张图片


深入决策树算法_第12张图片
深入决策树算法_第13张图片
深入决策树算法_第14张图片


深入决策树算法_第15张图片


深入决策树算法_第16张图片

DT算法的计算核心一般是计算各个feature 的information gain 决定采用哪个feature 分割平面以及怎样分割。


DT 算法的优缺点:

easy use

图形化比较直观

容易overfiting


人工智能技术文章list

你可能感兴趣的:(深入决策树算法)