机器学习-算法进阶(3):决策树

关于np.linspace()

机器学习-算法进阶(3):决策树_第1张图片
概率越低,蕴含的信息越多,如果p=0且发生了那么信息量是爆炸性的
机器学习-算法进阶(3):决策树_第2张图片

机器学习-算法进阶(3):决策树_第3张图片
数据可离散可连续
机器学习-算法进阶(3):决策树_第4张图片
度量两个变量的距离
机器学习-算法进阶(3):决策树_第5张图片
两个事件独立的化,互信息为0
机器学习-算法进阶(3):决策树_第6张图片
机器学习-算法进阶(3):决策树_第7张图片
机器学习-算法进阶(3):决策树_第8张图片
机器学习-算法进阶(3):决策树_第9张图片
求负对数似然函数的最小值

决策树就是建立一个熵不断下降的树
机器学习-算法进阶(3):决策树_第10张图片
机器学习-算法进阶(3):决策树_第11张图片
哪个熵值差得多,哪个特征得影响就越大:信息增益:ID3
只要给定条件或信息,熵一定会减小

对于一个特征,如果分类过多,会导致熵本身太大,那么互信息就会趋近于事件总体本身

机器学习-算法进阶(3):决策树_第12张图片

基尼系数
机器学习-算法进阶(3):决策树_第13张图片
机器学习-算法进阶(3):决策树_第14张图片
机器学习-算法进阶(3):决策树_第15张图片
机器学习-算法进阶(3):决策树_第16张图片

决策树与过拟合

机器学习-算法进阶(3):决策树_第17张图片
机器学习-算法进阶(3):决策树_第18张图片

机器学习-算法进阶(3):决策树_第19张图片
机器学习-算法进阶(3):决策树_第20张图片
机器学习-算法进阶(3):决策树_第21张图片
机器学习-算法进阶(3):决策树_第22张图片
机器学习-算法进阶(3):决策树_第23张图片

你可能感兴趣的:(决策树,算法,python,机器学习)