对数几率回归模型推导

Sigmoid函数

$$y=\frac{1}{1+e^{-z}}$$
之所以选择sigmoid函数是因为在二分类任务中，如果单纯采用阶梯函数的话，其不连续及在$z=0$处不可导的性质为后续的优化带来麻烦，所以采用sigmoid函数作为一个替代。

对数几率回归模型推导

原理不再赘述，以西瓜书为基础（P59），对数几率回归的似然函数为
$$\begin{array}{rl}l(w,b)& =\sum _{i=1}^m\ln p(y_i|x_i;w,b)\\ & =\sum _{i=1}^m\ln (y_i{p}_1(\widehat{x_i;\beta }+(1-y_i)p_0(\widehat{x_i};\beta )))\\ & =\sum _{i=1}^m\ln (y_i\frac{e^{{\beta }^T\widehat{x_i}}}{1+e^{{\beta }^T\widehat{x_i}}}+(1-y_i)\frac{1}{1+e^{{\beta }^T\widehat{x_i}}})\\ & =-\sum _{i=1}^m\ln ((y_i-1)\frac{1}{1+e^{{\beta }^T\widehat{x_i}}}-y_i\frac{e^{{\beta }^T\widehat{x_i}}}{1+e^{{\beta }^T\widehat{x_i}}})\end{array}$$
考虑$y_1=0$和$y_i=1$两种情况：

• $y=1$时：
  $$\begin{array}{rl}l(w,b)& =\sum _{i=1}^m({\beta }^T\widehat{x_i}-\ln (1+e^{{\beta }^T\widehat{x_i}}))\end{array}$$
• $y=0$时：
  $$\begin{array}{rl}l(w,b)& =\sum _{i=1}^m(-\ln (1+e^{{\beta }^T\widehat{x_i}}))\end{array}$$
  综上，$l(w,b)$表示为：
  $$l(w,b)=\sum _{i=1}^m(y_i{\beta }^T\widehat{x_i}-\ln (1+e^{{\beta }^T\widehat{x_i}}))$$