线性模型（线性判别函数和决策边界和 logistic 回归 ）

         我们主要介绍四种不同线性分类模型：logistic 回归、softmax 回归、感知器和支持向量机，这些模型区别主要在于使用了不同的损失函数。

       线性模型（Linear Model）是机器学习中应用最广泛的模型，指通过样本特征的线性组合来进行预测的模型。给定一个d 维样本[, · · · , ]T，其线性组合函数为

                                                       

        在分类问题中，由于输出目标y 是一些离散的标签，而f(x,w) 的值域为实数，因此无法直接用f(x,w) 来进行预测，需要引入一个非线性的 决策函数（decision function） g(·)  来预测输出目标 

                                                                              

 其中 f(x,w)  也称为 判 别 函 数（discriminant function）。

         对于两类分类问题，g ( · ) 可以是符号函数（sign function）

                                                  

当 f (x , w) = 0 时不进行预测。 

                                             

                                    

 线性判别函数和决策边界

           从     可知，一个线性分类模型（Linear Classification Model）或线性分类器（Linear Classifier），是由一个（或多个）线性的判别函数 f(x,w) = x+b 和非线性的决策函数g ( · ) 组成。

  （一） 两类分类

              两类分类（Binary Classification）的类别标签y 只有两种取值，通常可以设为 {+1  ,−1 } 或 { 0,1 } 。

              在两个分类中，我们只需要一个线性判别函数f(x,w) = wTx +b。特征空间Rd 中所有满足f(x,w) = 0 的点组成用一个分割超平面（hyperplane），称为决策边界（decision boundary）或决策平面（decision surface）。决策边界将特征空间一分为二，划分成两个区域，每个区域对应一个类别。

           注：超平面就是三维空间中的平面在更高维空间的推广。d维空间中的超平面是d − 1 维的。在二维空间中，决策边界为一个直线；在三维空间中，决策边界为一个平面；在高维空间中，决策边界为一个超平面。

          所谓“线性分类模型”就是指其决策边界是线性超平面。在特征空间中，决策平面与权重向量w正交。特征空间中每个样本点到决策平面的有向距离（signed distance）为

                                                              

                                       

  也可以看作是点x 在w方向上的投影 。

      给出了一个两维数据的线性决策边界示例，其中样本特征向量 x = [ x1, x2 ]，权重向量 w = [ w1,w2 ] 。

                                                 

 

 

 为了学习参数 w，我们需要定义合适的损失函数以及优化方法。对于两类分类问题，最直接的损失函数为0-1 损失函数，即

                                                              

 其中 I ( · ) 为指示函数。但 0-1 损失函数的数学性质不好，其关于 w 的导数为 0，从而导致无法优化 w 。

             

（二）  多分类

             多类分类（Multi-class Classification）问题是指分类的类别数 C 大于 2：

               

                   

    Logistic 回归

   Logistic 回归（Logistic Regression，LR）是一种常用的处理两类分类问题的线性模型。

                             

logistics 函数：

          

              

                           

                               

 

  参 数 学 习

    Logistic 回归采用交叉熵作为损失函数，并使用梯度下降法来对参数进行优化。 

                     

                    

                          

                              

 

                              

注：

                  

                    

                                

                         

  梯度下降法：