逻辑回归（Logistic Regression）原理详细总结

       逻辑回归（Logistic Regression）是一个分类算法，既可以用来解决二分类问题也可以解决多分类问题。那么为什么名为“回归“的算法却是用来解决分类问题的呢？本文将对逻辑回归的由来及原理做出详细的总结。

1）线性回归（Linear Regression)

       线性回归一般化的描述指通过计算输入变量的加权和，并加上一个常数偏置项（截距项）来得到一个预测值。线性回归预测模型如下（向量形式）：
                                               $\hat{y}=h_{\Theta }(X)={\Theta }^{T}X$
       线性回归是求出输出特征向量$\hat{y}$和输入样本矩阵$X$之间的线性关系系数$\theta$，然后给定一个特征向量$X$，输出一个预测值$\hat{y}$。由于$\hat{y}$的值是一个连续的数值，因此线性回归是一个回归模型。

2）分类问题（Classification Problem)
       对于一个二分类问题，假如给定一个样本x，我们需要估计该样本属于特定的一个类别的概率（比如是否是垃圾短信？）。假如我们估计样本$x$是垃圾概率的概率大于50%，则我们认为他是正类（$label=1$），否则我们认为它是负类（$label=0orlabel=-1$）。这就是一个二分类问题。
       那么对于多分类问题，我们可以其转换成多个二分类问题，比如最简单的OVA(One-vs-all)方法，也可以直接用多元逻辑回归的方法解决，比如Many-vs-Many(MvM)。

3）回归问题到分类问题（Linear Regression To Classification Problem）
       那么如何用连续的数值去预测离散的标签值？我们能否将线性回归输出的一个连续的数值变成一个标签呢？一个比较直观的想法是设定一个阈值，比如回归模型输出的y大于0时，属于正类，y小于0时属于负类，这种方法叫做感知机（Perceptron）。
       感知机的方法可以很好的将一个连续的数值变成一个标签，但它有一个问题，即将y等于1时，和y等于100时，视为完全一样，都归为正类。那我们是否有更好的一个方法，将y等于1和y等于100都归为正类的同时，也考虑它们各自属于正类的置信度呢？
       这种方法就是逻辑回归（Logistic Regression），我们不直接去预测类别，而是预测类别为正的概率。如果样本类别为正的概率大于0.5，则认为样本为正类，否则为负类。

4 ）逻辑函数（Logistic Function）
       那么如何将线性回归的输出值y，y属于（-∞, +∞），转换成[0,1]的概率的呢？
                                               $\hat{y}=h_{\Theta }(X)=\sigma ({\Theta }^{T}X)$
       正好，有一个Sigmoid函数，表达式和函数图像如下：
                                               $\sigma (t)=\frac{1}{1+e^{-t}}$

       一旦逻辑回归能够估计样本X属于正类的概率$\hat{p}=h_{\theta }(\mathbf{x})$，那么很容易通
过以下公式去判断样本x属于哪个类别：
                                   $\hat{y}=\{\begin{array}{l}1\hat{p}>0.5\\ 0\hat{p}<0.5\end{array}$
       注意：${\Theta }^{T}X$ 为正数，$\hat{y}$为1，${\Theta }^{T}X$为负数，$\hat{y}$为0。
       因此，逻辑回归的函数为：
                                   $p(y/x)=\frac{1}{1+e^{-(w^{T}X+b)}}=\sigma (w^{T}X+b)$
       对于二分类问题，逻辑回归函数可以写成：
                                   $p(y=1/x,w)=\frac{1}{1+e^{-(w^{T}X+b)}}=\sigma (w^{T}X+b)$
                                   $p(y=0/x,w)=\frac{e^{-(w^{T}X+b)}}{1+e^{-(w^{T}X+b)}}=1-\sigma (w^{T}X+b)$
       将两式合并，可写成：
                                   $p(y/x,w)=p(y=1/x,w{)}^y[1-p(y=1/x,w{)}^y{]}^{1-y}$

5）决策边界（Decision Boundaries）
       对于二分类问题，逻辑回归函数为：

                                   $p(y=1/x,w)=\frac{1}{1+e^{-(w^{T}X+b)}}=\sigma (w^{T}X+b)$
                                   $p(y=0/x,w)=\frac{}{1+e^{-(w^{T}X+b)}}$