线性回归及logistic回归详解

（主要参考 吴恩达机器学习）

线性回归

线性回归是机器学习中比较基本的一个算法。其基本思想大致可以理解为给定一个数据集，通过线性回归得到一条曲线，尽可能地去拟合这个数据集。如下图所示：
那么，如何得到这样一条拟合曲线呢？一个自然而然的想法是建立一个输入$x$到输出$\hat{y}$的拟合函数，使得这个函数的输出$\hat{y}$能够尽可能地接近真实值$y$。
通常，这个拟合函数可以被定义为：
$$h_{\theta }\left(x\right)={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2+\cdots +{\theta }_n{x}_n={\mathbf{\theta }}^T\mathbf{x}$$
其中，$\mathbf{\theta }={\left[{\theta }_0,{\theta }_1,\dots ,{\theta }_n\right]}^T$，表示参数的集合（线性回归的目的就是找到一组合适的参数，去拟合给定的数据集），$\mathbf{x}={\left[x_0,x_1,\dots ,x_n\right]}^T$表示数据的特征，并且通常$x_0=1$。例如，预测房价随房子面积变化的趋势，房子的面积，楼层，房间数等都可作为数据的特征，分别用$x_1，x_2，x_3，\dots$表示。
因此，我们的任务就是去寻找这一组合适的$\mathbf{\theta }$去构建上述拟合函数。这样我们就可以引入机器学习中另外一个常见的名词：代价函数。其主要作用就是衡量拟合函数的输出$\hat{y}$和真实值$y$之间的偏差（值越小，说明越接近真实值）。在线性回归中，代价函数的定义为：
$$J\left(\mathbf{\theta }\right)=\frac{1}{2m}\sum _{i=1}^m{\left(h_{\mathbf{\theta }}\left(x^{\left(i\right)}\right)-y^{\left(i\right)}\right)}^2$$
其中，$m$表示训练集的数量，$x^{\left(i\right)}$的上标仅仅表示第$i$个训练数据。为了找到$\mathbf{\theta }$，目标就转换为了$\underset{\theta }{\min }J\left(\theta \right)$。
下一步就是如何求$\underset{\theta }{\min }J\left(\mathbf{\theta }\right)$。我们最熟悉的做法就是梯度下降了，具体做法为:
$$repeatuntilconvergence{\theta }_j:={\theta }_j-\alpha \frac{\partial }{\partial {\theta }_j}J\left(\mathbf{\theta }\right)$$
针对每一个具体的${\theta }_j$，其具体的更新公式为：
$$\begin{gathered} {\theta }_0:={\theta }_0-\alpha \frac{1}{m}\sum _{i=1}^m\left(h_{\theta }\left(x^{\left(i\right)}\right)-y^{\left(i\right)}\right)\cdot x_0^{\left(i\right)} \\ {\theta }_1:={\theta }_1-\alpha \frac{1}{m}\sum _{i=1}^m\left(h_{\theta }\left(x^{\left(i\right)}\right)-y^{\left(i\right)}\right)\cdot x_1^{\left(i\right)} \\ {\theta }_2:={\theta }_2-\alpha \frac{1}{m}\sum _{i=1}^m\left(h_{\theta }\left(x^{\left(i\right)}\right)-y^{\left(i\right)}\right)\cdot x_2^{\left(i\right)} \\ \dots \\ {\theta }_n:={\theta }_n-\alpha \frac{1}{m}\sum _{i=1}^m\left(h_{\theta }\left(x^{\left(i\right)}\right)-y^{\left(i\right)}\right)\cdot x_n^{\left(i\right)} \end{gathered}$$
重复上述过程，直到算法收敛。最终，我们就得到了一组合适的参数${\mathbf{\theta }}^{\ast }={\left[{\theta }_0^{\ast },{\theta }_1^{\ast },\dots ,{\theta }_n^{\ast }\right]}^T$。
以上就是线性回归的全部流程，下面介绍logistic回归（也叫逻辑回归）。

logistic回归

在上面的线性回归中要预测的变量$\hat{y}$是一个连续值，而logistic回归主要用于分类问题，要预测的变量$\hat{y}$是一个离散值。通常其取值是一个有限离散值的集合，即$y\in \{0,1,2,\dots \}$，最常见的二元分类中$y\in \{0,1\}$。logistic的原理和线性回归大致相同。具体区别主要在于拟合函数$h_{\mathbf{\theta }}\left(x\right)$和代价函数$J\left(\mathbf{\theta }\right)$。在线性回归中，我们已经知道$h_{\mathbf{\theta }}\left(x\right)={\mathbf{\theta }}^T\mathbf{x}$，而在logistic回归中，拟合函数为：
$$\begin{gathered} h_{\theta }\left(x\right)=g\left({\mathbf{\theta }}^T\mathbf{x}\right) \\ 其中，g\left(z\right)=\frac{1}{1+e^{-1}} \end{gathered}$$
有了拟合函数，按照线性回归的流程，下面就是代价函数了。如果logistic回归仍然采用和线性回归一样的代价函数，按照吴恩达老师在视频中的说法，由于拟合函数$h_{\theta }\left(x\right)$的改变，会使最终的代价函数$J\left(\mathbf{\theta }\right)$变为非凸的函数，从而无法很好地利用梯度下降法去求解。为此，在logistic回归中，代价函数变成了下列形式：
$$J\left(\mathbf{\theta }\right)=\{\begin{array}{r}-\log \left(h_{\mathbf{\theta }}\left(x\right)\right),y=1\\ -\log \left(1-h_{\mathbf{\theta }}\left(x\right)\right),y=0\end{array}$$
为了简化公式，上述分段函数可以进一步写成：
$$J\left(\mathbf{\theta }\right)=-y\log \left(h_{\mathbf{\theta }}\left(x\right)\right)-\left(1-y\right)\log \left(1-h_{\mathbf{\theta }}\left(x\right)\right)$$
于是，针对m个训练集，最终的代价函数为：
$$J\left(\mathbf{\theta }\right)=-\frac{1}{m}\sum _{i=1}^m\left[y^{\left(i\right)}\log h_{\mathbf{\theta }}\left(x^{\left(i\right)}\right)+\left(1-y^{\left(i\right)}\right)\log \left(1-h_{\mathbf{\theta }}\left(x^{\left(i\right)}\right)\right)\right]$$
接下来的流程就和线性回归一致了，即利用梯度下降，通过多次迭代，最终得到一组合适的参数$\mathbf{\theta }={\left[{\theta }_0,{\theta }_1,\dots ,{\theta }_n\right]}^T$。
$$repeatuntilconvergence{\theta }_j:={\theta }_j-\alpha \frac{\partial }{\partial {\theta }_j}J\left(\mathbf{\theta }\right)$$
针对每一个具体的${\theta }_j$，其具体的更新公式为：
$$\begin{gathered} {\theta }_0:={\theta }_0-\alpha \frac{1}{m}\sum _{i=1}^m\left(h_{\theta }\left(x^{\left(i\right)}\right)-y^{\left(i\right)}\right)\cdot x_0^{\left(i\right)} \\ {\theta }_1:={\theta }_1-\alpha \frac{1}{m}\sum _{i=1}^m\left(h_{\theta }\left(x^{\left(i\right)}\right)-y^{\left(i\right)}\right)\cdot x_1^{\left(i\right)} \\ {\theta }_2:={\theta }_2-\alpha \frac{1}{m}\sum _{i=1}^m\left(h_{\theta }\left(x^{\left(i\right)}\right)-y^{\left(i\right)}\right)\cdot x_2^{\left(i\right)} \\ \dots \\ {\theta }_n:={\theta }_n-\alpha \frac{1}{m}\sum _{i=1}^m\left(h_{\theta }\left(x^{\left(i\right)}\right)-y^{\left(i\right)}\right)\cdot x_n^{\left(i\right)} \end{gathered}$$
尽管参数的更新公式和线性回归的更新公式一致，但拟合函数$h_{\mathbf{\theta }}\left(x\right)$的形式已经发生改变。
下面给出logistic回归中梯度更新公式的具体推导流程：
为了便于推导，我们只考虑含有两个参数的情况（更多参数情况可以类推），即$\mathbf{\theta }=[{\theta }_0,{\theta }_1{]}^T$。此时，
$$h_{\mathbf{\theta }}\left(x\right)=\frac{1}{1+e^{-\left({\theta }_0+{\theta }_1{x}_1\right)}}$$
$$J\left(\mathbf{\theta }\right)=-y\log \left(\frac{1}{1+e^{-\left({\theta }_0+{\theta }_1{x}_1\right)}}\right)-\left(1-y\right)\log \left(1-\frac{1}{1+e^{-\left({\theta }_0+{\theta }_1{x}_1\right)}}\right)$$
下面对${\theta }_1$进行求偏导(以自然对数$e$作为底为例，以2为底也一样，只是多了一个常数):
$$\begin{gathered} \frac{\partial }{\partial {\theta }_1}J\left(\mathbf{\theta }\right)=-y\left[1+e^{-\left({\theta }_0+{\theta }_1{x}_1\right)}\right]\cdot \frac{x_1{e}^{-\left({\theta }_0+{\theta }_1{x}_1\right)}}{{\left[1+e^{-\left({\theta }_0+{\theta }_1{x}_1\right)}\right]}^2}- \\ \frac{1+e^{-\left({\theta }_0+{\theta }_1{x}_1\right)}}{e^{-\left({\theta }_0+{\theta }_1{x}_1\right)}}\cdot \frac{-x_1{e}^{-\left({\theta }_0+{\theta }_1{x}_1\right)}\left(1+e^{-\left({\theta }_0+{\theta }_1{x}_1\right)}\right)+x_1{e}^{-2\left({\theta }_0+{\theta }_1{x}_1\right)}}{{\left[1+e^{-\left({\theta }_0+{\theta }_1{x}_1\right)}\right]}^2}+ \\ y\frac{1+e^{-\left({\theta }_0+{\theta }_1{x}_1\right)}}{e^{-\left({\theta }_0+{\theta }_1{x}_1\right)}}\cdot \frac{-x_1{e}^{-\left({\theta }_0+{\theta }_1{x}_1\right)}\left(1+e^{-\left({\theta }_0+{\theta }_1{x}_1\right)}\right)+x_1{e}^{-2\left({\theta }_0+{\theta }_1{x}_1\right)}}{{\left[1+e^{-\left({\theta }_0+{\theta }_1{x}_1\right)}\right]}^2} \\ =-y\cdot \frac{x_1{e}^{-\left({\theta }_0+{\theta }_1{x}_1\right)}}{1+e^{-\left({\theta }_0+{\theta }_1{x}_1\right)}}+\frac{x_1}{1+e^{-\left({\theta }_0+{\theta }_1{x}_1\right)}}-\frac{y{x}_1}{1+e^{-\left({\theta }_0+{\theta }_1{x}_1\right)}} \\ =x_1\left(\frac{1}{1+e^{-\left({\theta }_0+{\theta }_1{x}_1\right)}}-y\right) \\ =\left(h_{\theta }\left(x\right)-y\right)x_1 \end{gathered}$$
考虑m个训练集：
$$\frac{\partial }{\partial {\theta }_1}J\left(\mathbf{\theta }\right)=\frac{1}{m}\sum _{i=1}^m\left(h_{\theta }\left(x^{\left(i\right)}\right)-y^{\left(i\right)}\right)\cdot x_1^{\left(i\right)}$$
其余参数推导流程一致。
除了利用梯度下降进行参数优化外，还有一些高级的优化方法，例如Conjugate gradient，BFGS，L-BFGS。感兴趣的可以自行学习。
以上就是线性回归和logistic回归的全部内容，欢迎交流~