广义线性回归中的Logistic回归

       广义线性模型GLM中， y不再只是正态分布，而是扩大为指数族中的任意分布。凡是符合指数族分布的随机变量，都可以用GLM回归分析。

       g(x)被称为连接函数，连接函数满足单调可导，比如，Logistic回归中的连接函数为

      变量

         

      Logistic函数又叫sigmoid函数，为S型曲线。Logistic回归和Softmax回归类似，两者本质上的不同体现在，Logistic回归对于两类的分类，而softmax则是从两类到三类的过程。

       Logistic/sigmoid函数

     

       

        

         Logistic回归参数估计

         

          这里运用了极大似然估计的思想。

         

          对数似然函数

               

         参数的迭代

             Logistic回归参数的学习规则

             （梯度下降的思路来估计参数）

            因此可以得到下面的伪算法

              

      对数线性模型

     一个事件的几率（odds）,是指该事件发生的概率与该事件不发生的概率的比值。

     对数几率：logit函数

      

       说明一个事件发生与不发生几率的对数是一个线性模型。Logistic回归是套用了连接函数logistic函数。如果事件发生的概率p>0.5，则，然后通过符号函数sign(logit(p))进行判别分类。