线性模型（五）之逻辑斯蒂回归

  逻辑斯蒂回归（logistic regression，LR）名字中包含“回归”二字，乍一听，还以为是一种回归算法，实则不然，逻辑斯蒂回归是不折不扣的分类算法。

  感知机算法是最直接的将线性回归用于分类的算法，其直接在线性回归的模型上加上了符号函数，变成了二分类模型。类似，逻辑斯蒂回归算法的思想也是将线性回归模型加以改造，进而用于分类。

  个人理解，逻辑斯蒂回归改造线性回归模型的思路是将线性回归产生的实值输出转换为取值在 0−1 0 − 1 的概率值，并以此概率表示输入样本 x x 的类别为正的概率。在逻辑斯蒂回归中，用sigmoid函数将线性回归的实值输出转换到 0−1 0 − 1 的概率表示，即

f(x)=11+e−(wTx+b) f ( x ) = 1 1 + e − ( w T x + b )

其中，sigmoid函数的形式为 f(z)=11+e−z f ( z ) = 1 1 + e − z ， f(x) f ( x ) 表示样本 x x 为正例的概率大小，令 p(x)=f(x) p ( x ) = f ( x ) 。

  对于逻辑斯蒂回归还有另外一种解释，即逻辑斯蒂回归是利用线性回归拟合对数几率。几率表示样本 x x 为正例的概率和为负例的概率的比值，即 p(x)1−p(x) p ( x ) 1 − p ( x ) ，再取对数即可得到对数几率，然后用线性回归拟合该对数几率，即

lnp(x)1−p(x)=wTx+b ln ⁡ p ( x ) 1 − p ( x ) = w T x + b

变换后，同样可以得到

p(x)=11+e−(wTx+b) p ( x ) = 1 1 + e − ( w T x + b )

可见，这两种解释都是可以推导出逻辑斯蒂回归模型的定义的。

  有了模型的定义后，按照前面几节的思路，现在就需要想办法如何求解模型的参数 w w 和 b b ，欲求解参数，首先需要将其转换为最优化问题，然后对优化问题求解。逻辑斯蒂回归算法采用的最大化对数似然作为最优化策略，可以认为损失函数是对数似然函数，只不过是要取最大值。

  对数似然最大化，其实就是使得对于所有样本的预测都尽可能对，且概率值尽可能大，对于正例而言，是使得 p(x) p ( x ) 尽可能大，而对于负例而言，则是使得 1−p(x) 1 − p ( x ) 尽可能大。加上对数，是为了使得推导时方便，将乘法变成了加法，对于最终的结果无影响。对数似然的公式如下：

L(w,b)=ln∏i=iNp(yi|xi)=∑i=1Nlnp(yi|xi)=∑i∈Plnp(yi=1|xi)+∑i∈Nlnp(yi=0|xi)=∑i=1Nln([p(yi=1|xi)]yi[1−p(yi=1|xi)]1−yi) L ( w , b ) = ln ⁡ ∏ i = i N p ( y i | x i ) = ∑ i = 1 N ln ⁡ p ( y i | x i ) = ∑ i ∈ P ln ⁡ p ( y i = 1 | x i ) + ∑ i ∈ N ln ⁡ p ( y i = 0 | x i ) = ∑ i = 1 N ln ⁡ ( [ p ( y i = 1 | x i ) ] y i [ 1 − p ( y i = 1 | x i ) ] 1 − y i )

其中， p(yi=1|xi) p ( y i = 1 | x i ) 即我们的分类函数， p(yi=1|xi)=11+e−(wTx+ｂ) p ( y i = 1 | x i ) = 1 1 + e − ( w T x + ｂ ) ，同样，为了简便，把参数 b b 吸收进参数 w w 中， w={b,w1,...,wd} w = { b , w 1 , . . . , w d } 。将其带入前面的对数似然公式中，可以得到：

L(w,b)=∑i=1Nln([p(yi=1|xi)]yi[1−p(yi=1|xi)]1−yi)=∑i=1Nln([11+e−wTx]yi[1−11+e−wTx]1−yi)=∑i=1Nln([11+e−wTx]yi[e−wTx1+e−wTx]1−yi)=∑i=1N−yiln(1+e−wTx)+(1−yi)[−wTx−ln(1+e−wTx)]=∑i=1NyiwTx−wTx−ln(1+e−wTx)=∑i=1NyiwTx−[lnewTx+ln(1+e−wTx)]=∑i=1NyiwTx−[ln(1+ewTx)] L ( w , b ) = ∑ i = 1 N ln ⁡ ( [ p ( y i = 1 | x i ) ] y i [ 1 − p ( y i = 1 | x i ) ] 1 − y i ) = ∑ i = 1 N ln ⁡ ( [ 1 1 + e − w T x ] y i [ 1 − 1 1 + e − w T x ] 1 − y i ) = ∑ i = 1 N ln ⁡ ( [ 1 1 + e − w T x ] y i [ e − w T x 1 + e − w T x ] 1 − y i ) = ∑ i = 1 N − y i ln ⁡ ( 1 + e − w T x ) + ( 1 − y i ) [ − w T x − ln ⁡ ( 1 + e − w T x ) ] = ∑ i = 1 N y i w T x − w T x − ln ⁡ ( 1 + e − w T x ) = ∑ i = 1 N y i w T x − [ ln ⁡ e w T x + ln ⁡ ( 1 + e − w T x ) ] = ∑ i = 1 N y i w T x − [ ln ⁡ ( 1 + e w T x ) ]

该式子对于 w w 而言，连续可导，可以利用梯度下降法求解。

  最后将逻辑斯蒂回归算法整理如下：

输入： D={(x1,y1),(x2,y2),...,(xN,yN)} D = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x N , y N ) }
输出： f(x)=11+e−wTx f ( x ) = 1 1 + e − w T x
目标： argminwL(w)=argminw∑Ni=1yiwTx−[ln(1+ewTx)] arg ⁡ min w L ( w ) = arg ⁡ min w ∑ i = 1 N y i w T x − [ ln ⁡ ( 1 + e w T x ) ]

好了，至此，逻辑斯蒂回归就到此为止了。