LR推导

二分类逻辑回归：

假设样本x，预测值 y∈{1,0} 。

p(Y=1|x)=exp(wx+b)1+exp(wx+b)=π(x)

p(Y=0|x)=11+exp(wx+b)=1−π(x)

损失函数：

L=∏i=1Np(Yi=1|x)yip(Yi=0|x)1−yi=∏i=1Nπ(x)yi(1−π(x)1−yi

对数似然函数：

ℓ=logL=∑i=1Nyilogπ(x)+(1−yi)log(1−π(x))=∑i=1Nyi(wx+b−log(1+exp(wx+b)))+(1−yi)(−log(1+exp(wx+b)))=∑i=1Nyi(wx+b)+(yi+1−yi)(−log(1+exp(wx+b)))=∑i=1Nyi(wx+b)−log(1+exp(wx+b))

对对数似然函数关于w求导

∂ℓ∂wk=∑i=1Nyixki−exp(wx+b)xki1+exp(wx+b)=∑i=1N(yi−(1−11+exp(wx+b)))xki=∑i=N(yi−π(xi))xki

令上式为0，得到

∑i=1N(yi−1+11+exp(wx+b))xki=0

即

∑i=1N(1−yi)xki=∑i=1N(11+exp(wx+b))xki

到这里，我们应该就可以看到逻辑斯蒂回归是没有解析解的。

参考:

1.http://blog.csdn.net/zouxy09/article/details/20319673
2.http://bigbear2017.github.io/logistic-regression/

Written with StackEdit.