硬间隔SVM
软间隔SVM
.
核函数:
SVM分类超平面的解是唯一的,要满足间隔最大化
感知机的解不唯一,没有间隔最大化的约束条件,满足分开数据点的分界面都是可以的
https://blog.csdn.net/yan456jie/article/details/52524942
相同点:
第一,LR和SVM都是分类算法。
第二,如果不考虑核函数,LR和SVM都是线性分类算法,也就是说他们的分类决策面都是线性的
第三,LR和SVM都是监督学习算法。
第四,LR和SVM都是判别模型。
两种方法都是常见的分类算法,其中心思想都是增加对分类影响较大的数据点的权重,减少与分类关系较小的数据点的权重。
SVM的处理方法是只考虑support vectors,也就是和分类最相关的少数点,去学习分类器。
而逻辑回归通过非线性映射,大大减小了离分类平面较远的点的权重,相对提升了与分类最相关的数据点的权重。两者的根本目的都是一样的。
比较:
0、概率值
LR给出了后验概率,SVM只有01分类,没有后延概率
1、损失函数
LR采用logistic损失(误差平方和损失)
SVM采用合页(Hinge)损失。(损失函数是二者的本质区别)
SVM的损失函数就自带正则!!!(损失函数中的1/2||w||^2项),这就是为什么SVM是结构风险最小化算法的原因!!!而LR必须另外在损失函数上添加正则项!!
LR对异常值敏感;SVM对异常值不敏感,泛华能力强,分类效果好。
3、训练数据体量
在训练集较小时,SVM较适用,而LR需要较多的样本。
4、起作用点的范围
LR模型找到的那个超平面,是尽量让所有点都远离他,而SVM寻找的那个超平面,是只让最靠近中间分割线的那些点尽量远离,即只用到那些支持向量的样本。
5、非线性问题的处理方式
对非线性问题的处理方式不同,LR主要靠特征构造,必须组合交叉特征,特征离散化;
SVM也可以这样,还可以通过kernel,kernel很强大。
6、理解性:
LR相对来说模型更简单,好理解,实现起来,特别是大规模线性分类时比较方便。而SVM的理解和优化相对来说复杂一些。但是SVM的理论基础更加牢固,有一套结构化风险最小化的理论基础.
7.线性SVM依赖数据表达的距离测度,所以需要对数据先做normalization,LR不受其影响
一个机遇概率,一个机遇距离
线性回归:
实际应用中,概率p与因变量往往是非线性的,为了解决该类问题,我们引入了logit变换,使得logit(p)与自变量之
间存在线性相关的关系,
逻辑回归:
通过推导,概率p变换如下,这与Sigmoid函数相符,也体现了概率p与因变量之间的非线性关系。以0.5为界限,预
测p大于0.5时,我们判断此时y更可能为1,否则y为0。
(非线性情况下,可以加kernel,或者特征相乘 )
优:计算代价不高,易于理解和实现。
缺:容易欠拟合,分类精度可能不高。
优:泛化错误率低,计算开销不大,结果易解释。
缺:SVM对参数调节和核函数的选择敏感,原始分类器不加修改仅适用于处理二类问题。
svm: https://blog.csdn.net/liugan528/article/details/79448379
https://blog.csdn.net/u011204487/article/details/60590070
https://blog.csdn.net/jfhdd/article/details/52319422
https://blog.csdn.net/u010692239/article/details/52345754
https://www.cnblogs.com/daguankele/p/6652597.html