LR和SVM的联系与区别

LR与SVM都是机器学习中经常会用到的算法。现在想深入了解每种模型直接的异同，提升自身水平。找到一个博客解释的比较好：博客：LR与SVM的异同。下面的内容也是跟着这篇博客进行学习的。

一、LR与SVM的相同点

1. LR与SVM都是分类算法

按照label的类型进行判别，如果label是离散的，如0或1，那么就应该是分类算法。如果label是连续的，就应该是回归算法。当然SVM也可以用于回归。

2. LR与SVM都是有监督学习算法

LR与SVM都是监督学习。

3. LR与SVM都是判别模型

简单来讲，就是LR/SVM都是会生成一个判别函数（不关系数据分布，只关心数据间的差别）去分类，而生成模型会计算联合概率（通过联合概率去找到数据的分布），然后根据数据分布去分类。
KNN/LR/SVM是判别模型；
朴素贝叶斯和隐马尔可夫模型是生成模型。

4. LR与SVM都是线性模型

基础版本的LR和SVM都是线性模型，核函数另算。

二、LR与SVM的不同点

1. 损失函数不同

逻辑回归LR的损失函数

支持向量机的目标函数

LR：是基于概率理论和极大似然估计
SVM：是基于几何间隔最大化原理

2. 线性SVM是距离度量，需要normalization

线性SVM是基于几何间隔，所以需要normalization。LR不需要。

3. SVM自带正则化，LR必须额外添加

SVM的目标函数中有个L2正则化项：1/2||w||^2
LR需要在损失函数外，额外添加正则项。

4. SVM有核函数，LR一般不用核函数

三、参考

LR和SVM的异同
LR和SVM的原理：机器学习-周志华，统计学习方法-李航