广义线性回归中的Logistic回归

       广义线性模型GLM中, y不再只是正态分布,而是扩大为指数族中的任意分布。凡是符合指数族分布的随机变量,都可以用GLM回归分析。

       g(x)被称为连接函数,连接函数满足单调可导,比如,Logistic回归中的连接函数为

      变量

         

      Logistic函数又叫sigmoid函数,为S型曲线。Logistic回归和Softmax回归类似,两者本质上的不同体现在,Logistic回归对于两类的分类,而softmax则是从两类到三类的过程。

       Logistic/sigmoid函数

     广义线性回归中的Logistic回归_第1张图片

       广义线性回归中的Logistic回归_第2张图片

        

         Logistic回归参数估计

         广义线性回归中的Logistic回归_第3张图片

          这里运用了极大似然估计的思想。

         

          对数似然函数

               广义线性回归中的Logistic回归_第4张图片

         参数的迭代

             Logistic回归参数的学习规则

             (梯度下降的思路来估计参数)

            因此可以得到下面的伪算法

              广义线性回归中的Logistic回归_第5张图片

      对数线性模型

     一个事件的几率(odds),是指该事件发生的概率与该事件不发生的概率的比值。

     对数几率:logit函数

      广义线性回归中的Logistic回归_第6张图片

       说明一个事件发生与不发生几率的对数是一个线性模型。Logistic回归是套用了连接函数logistic函数。如果事件发生的概率p>0.5,则,然后通过符号函数sign(logit(p))进行判别分类。

       

            

                 

你可能感兴趣的:(数据挖掘,机器学习)