机器学习算法(公式图解:LR&SVM)

Logistic函数

机器学习算法(公式图解:LR&SVM)_第1张图片
基本公式

机器学习算法(公式图解:LR&SVM)_第2张图片
x属于正类的概率

机器学习算法(公式图解:LR&SVM)_第3张图片
正样本概率和负样本概率的比值

每一个观察到的样本(xi, yi)出现的概率

机器学习算法(公式图解:LR&SVM)_第4张图片
优化代价函数

机器学习算法(公式图解:LR&SVM)_第5张图片
求导函数

可用牛顿迭代法/梯度下降法求解。
随机梯度下降法:一次仅用一个样本点(的回归误差)来更新回归系数。随着迭代的进行,alpha越来越小,这会缓解系数的高频波动

支持向量机(SVM)

对偶问题:


机器学习算法(公式图解:LR&SVM)_第6张图片
转换后的形式叫做dual problem

同样的方法:


机器学习算法(公式图解:LR&SVM)_第7张图片
优化目标

机器学习算法(公式图解:LR&SVM)_第8张图片
转换后的优化目标

机器学习算法(公式图解:LR&SVM)_第9张图片
求导替换后

机器学习算法(公式图解:LR&SVM)_第10张图片
有了新样本x的判别,注意只有少数阿尔法i不为零

机器学习算法(公式图解:LR&SVM)_第11张图片
若允许个别例外情况存在

机器学习算法(公式图解:LR&SVM)_第12张图片
在训练目标里添加惩罚项

机器学习算法(公式图解:LR&SVM)_第13张图片
dual problem

训练SVM和使用SVM都用到了样本间的内积,而且只用到内积。那如果我们可以找到一种方法来计算两个样本映射到高维空间后的内积的值就可以了。核函数就是完成这伟大的使命的:


机器学习算法(公式图解:LR&SVM)_第14张图片
核函数变换

机器学习算法(公式图解:LR&SVM)_第15张图片
需要满足的KKT条件

坐标上升(下降)法:只调整一个变量αi的值
SMO算法:每次只选取两个变量进行优化。原因是:
如果只选取一个值做变量,那么它的值被固定了,可以由其他值推算出来。因此必须有两个变量是灵活的

你可能感兴趣的:(机器学习算法(公式图解:LR&SVM))