SVM原理，及和逻辑回归区别

先说结论

0、LR给出了后验概率，SVM只有01分类，没有后验概率
1、LR采用logistic损失（误差平方和损失），SVM采用合页（Hinge）损失。（损失函数是二者的本质区别）
2、LR对异常值敏感；SVM对异常值不敏感，泛华能力强，分类效果好。
3、在训练集较小时，SVM较适用，而LR需要较多的样本。
4、LR模型找到的那个超平面，是尽量让所有点都远离他，而SVM寻找的那个超平面，是只让最靠近中间分割线的那些点尽量远离，即只用到那些支持向量的样本。
5、对非线性问题的处理方式不同，LR主要靠特征构造，必须组合交叉特征，特征离散化；SVM也可以这样，还可以通过kernel，kernel很强大。
6、LR相对来说模型更简单，好理解，实现起来，特别是大规模线性分类时比较方便。而SVM的理解和优化相对来说复杂一些。但是SVM的理论基础更加牢固，有一套结构化风险最小化的理论基础.

SVM优缺点：

优：泛化错误率低，计算开销不大，结果易解释。

缺：SVM对参数调节和核函数的选择敏感，原始分类器不加修改仅适用于处理二类问题。

Logistic优缺点：

优：计算代价不高，易于理解和实现。

缺：容易欠拟合，分类精度可能不高。
由逻辑回归引入SVM

损失函数为：

SVM简化一下逻辑回归的损失函数，如蓝色折现所示：







绿色是
蓝色是

.由于的限制 θ不会太大，若P也不够大，就很难实现
所以促使分类器向下面这样演化：

核函数 kernel




landmark怎么选？

参考链接：
https://www.jianshu.com/p/b9e3fd894770
https://blog.csdn.net/u012052268/article/details/78816779
https://blog.csdn.net/u012313437/article/details/80757118