从Logistic到SVM

转载请注明：http://blog.csdn.net/HEL_WOR/article/details/50539967

希望这几个月花的时间，可以让我重新拿起这些内容了。

从logistic回归到SVM。
logistic回归的目的是从特征学习出一个0/1分类的模型，而这个模型是将特征的线性组合作为自变量，由于自变量的取值是从负无穷到正无穷，因此，使用logistic函数（也称sigmoid函数）将自变量映射到（0,1）上。

对于用于分类的SVM，它是一个二分类的分类模型，也即，给定一个包含正例和反例（正样本点和负样本点）的样本集合，SVM的目的是找到一个超平面对样本进行分割，并使正样本点和负样本点之间的间隔最大，学习的目标是找到一个分类超平面，分类面由w和b决定，w是法向量，b是截距，法向量指向的一侧是正类，另一个是负类。

但Logistic和SVM的区别在于：一个关注全局，一个关注局部。
对于Logistic函数，表示为 :
其中x为n维特征向量，函数g为logistic函数。
。
而假设函数即是特征属于y=1的概率，那么:

当判别一个新来的特征x属于哪个类别时，只需求，若大于0.5就是属于y=1的类，否则就是y=0的类，再来观察一下，其只与有关，g(z)只是用来映射，>0则>0.5。

真实的类别决定权在于，当>>0时，=1,反之<<0时，=0。
我们从出发，希望模型达到目标，即要尽量使训练数据中y=1的特征>>0，而让y=0的特征<<0。

logistic回归就是要学习得到，使正例的特征远大于0，负例的特征远小于0。
图形化表示为：

Logistic回归和SVM的区别就在图上：
Logistic回归强调所有点都尽可能的远离中间那条线，学习的结果也即中间那条线，但由此也引出了问题，在图中的A,B,C三点，C可以确定属于2类，B可以勉强确定属于2类，但A点是无法判断属于哪一类的，因此，我们应更多的关心靠近中间分隔线的点，使他们尽可能的远离中间线，而不是在所有点上都达到最优，这即是Logistic回归和SVM的区别。SVM考虑局部最大化，也即如何让靠近中间线的点尽可能的远离中间线会占用更高的权值，而Logistic考虑全局最大化，其目的是使所有点都被尽可能的分类。

今天太晚了，明天再继续吧。