《统计学习方法》笔记二

逻辑回归与最大墒

逻辑回归

logistic分布

《统计学习方法》笔记二_第1张图片

logistic回归模型

《统计学习方法》笔记二_第2张图片

逻辑回归中输出是输出的线性函数

《统计学习方法》笔记二_第3张图片

多项logistic回归

《统计学习方法》笔记二_第4张图片

最大墒模型

《统计学习方法》笔记二_第5张图片

最大墒模型的最优化函数

《统计学习方法》笔记二_第6张图片

拉格朗日转化

《统计学习方法》笔记二_第7张图片
《统计学习方法》笔记二_第8张图片

最大化过程的等价于最大熵模型的极大似然估计

《统计学习方法》笔记二_第9张图片

最优化算法

*最优化算法待理解*

SVM

距离

当||W|| = 1 时,函数间隔等于几何间隔
《统计学习方法》笔记二_第10张图片
《统计学习方法》笔记二_第11张图片

间隔最大化

约束最优化问题

《统计学习方法》笔记二_第12张图片
《统计学习方法》笔记二_第13张图片

支持向量

《统计学习方法》笔记二_第14张图片

对偶问题

《统计学习方法》笔记二_第15张图片
《统计学习方法》笔记二_第16张图片

线性可分支持向量机

《统计学习方法》笔记二_第17张图片

软间隔

这里写图片描述
《统计学习方法》笔记二_第18张图片
《统计学习方法》笔记二_第19张图片
《统计学习方法》笔记二_第20张图片

核技巧

  • 原空间数据线性不可分,转换到新空间实现线性可分
  • 支持向量机中目标函数和决策函数都只涉及输入实例与实例之间的内积,可以将内积用核函数替代

《统计学习方法》笔记二_第21张图片
《统计学习方法》笔记二_第22张图片

SMO算法

提升方法

AdaBoost

《统计学习方法》笔记二_第23张图片
《统计学习方法》笔记二_第24张图片
《统计学习方法》笔记二_第25张图片
《统计学习方法》笔记二_第26张图片

提升树

《统计学习方法》笔记二_第27张图片
《统计学习方法》笔记二_第28张图片

你可能感兴趣的:(机器学习,读书笔记)