LR算法

• LR的表达式
  
  
  

• 损失函数
  

• sigmoid函数的推导
  是线性模型，取值空间为实数集；
  是预测为1的概率，则是预测为0的概率，概率的取值空间为[0,1]；
  令
  则
  
  
  

• 损失函数的推导(MLE)
  
  
  则
  MLE：
  取log：
  最大化上面的式子，相当于最小化对上式取负号：
  
  即

• 参数优化(梯度下降法)
  损失函数：
  
  对w求导：
  
  
  
  

• 为什么LR采用交叉熵损失函数，而不用平方误差？

1. 用MSE作为二元分类的损失函数会有梯度消失的问题。
2. 之所以用logloss来作为逻辑回归的损失函数，是因为它是通过最大似然估计得到的。

• 参考文献：

1. 逻辑回归里的sigmoid函数是何方神圣
2. 逻辑回归(logistic regression)的本质——极大似然估计
3. 二元分类为什么不能用MSE做为损失函数