对比线性回归、逻辑回归和SVM

线性回归是回归模型,逻辑回归和SVM是分类模型。

线性回归和逻辑回归(广义线性模型)是线性模型,SVM根据核函数的不同有线性模型和非线性模型。

逻辑回归和SVM都是判别式模型。

三者都属于有监督算法。

三个模型的分界面都是线性的,非线性SVM可以理解为通过核函数将非线性特征映射为线性特征,然后再求线性分界面(只是方便理解,实际上并不是线性)。实际运算时直接在低维空间中直接计算,而不是先映射到高维空间再进行内积运算。

由于支持向量机只关心分界面上的点,所以不受数据分布的影响,但却容易受到异常值的影响。如果异常值出现在分界面内部则不会影响分类结果,如果出现在两条正常分界面之间,则会直接影响分解面的位置。

逻辑回归假设数据服从伯努利分布,受数据分布影响,要处理数据集不均衡的情况,不容易受异常值影响。

https://www.zhihu.com/question/26768865

豆豆豆豆豆豆豆叶   的回答


线性和非线性:
 @2e8e2fd95f48 1、关于 “线性模型和核有什么关系。。 做了非线性变换就是非线性分类器了?” 

线性模型的定义:“类似多项式函数的这种关于未知参数满⾜线性关系的函数有着重要的性质,被叫做线性模型”,这是《机器学习与模式识别》中的定义。SVM换了非线性核,自然就不是线性模型,把核分解代入原式就能看出。

2、“那么逻辑回归岂不也是非线性分类器?”。

逻辑回归严格来说属于广义线性模型,是非线性模型。wiki对一般线性模型和广义线性模型的区分:"有些人可能会把一般线性模式和广义线性模式给弄混了。一般线性模式可视为广义线性模式的一个链接函数为恒等的特例。一般线性模式有着悠长的发展历史。广义线性模式具非恒等链接函数者有着渐近一致的结果。"

综上,SVM可以通过构造非线性核,成为广义线性模型,但不会是一般线性模型。

逻辑回归是广义线性模型,不是一般线性模型。

是我说的不严谨

你可能感兴趣的:(对比线性回归、逻辑回归和SVM)