Logistec Regression(逻辑回归)的相关讨论

一、逻辑回归

1. 定义

    对数几率回归（也称“逻辑回归”）（英语：Logistic regression 或logit regression），即对数几率模型（英语：Logit model，也译作“逻辑模型”、“评定模型”、“分类评定模型”）是离散选择法模型之一，属于多重变量分析范畴，是社会学、生物统计学、临床、数量心理学、计量经济学、市场营销等统计实证分析的常用方法。
    单单从名称上看，很容易将“逻辑回归”当作的侧重点放在“回归”连个字眼上。但是在机器学习中，Logistic regression的主要解决的却是分类问题；首先从处理的数据类型上来看，LR处理的数据多是离散化标签数据，对数据进行分类。最简单就是二分类问题中的正例和负例，如检查一个人是否患有肿瘤。
    在此借用Andrew NG的讲义，有如下图所示，X为数据点——肿瘤的大小，Y为观测值——是否是恶性肿瘤。通过构建线性回归模型，如$h_{\theta }(x)$所示，构建线性回归模型后，即可以根据肿瘤大小，预测是否为恶性肿瘤$h_{\theta }(x)\ge 0.5$为恶性，$h_{\theta }(x)<0.5$为良性。

    由于线性回归在整个实数域内敏感度一致，而分类范围需要在[0, 1]。逻辑回归就是一种减小预测范围，将预测值限定为[0,1]间的一种回归模型。 逻辑回归其实仅为在线性回归的基础上，套用了一个逻辑函数，但也就由于这个逻辑函数，逻辑回归成为了机器学习领域一颗耀眼的明星，更是计算广告学的核心。

假设：$h_{\theta }(x)=g({\theta }^{T}x)=\frac{1}{1+e^{-e^{T}x}}$，$g(z)=\frac{1}{1+e^z}$
因为y的取值为y = {0, 1}，所以：
$P(y=1|y,\theta )=h_{\theta }(x)$
$P(y=0|y,\theta )=1-h_{\theta }(x)$
$P(x|y,\theta )=h_{\theta }(x{)}^y(1-h_{\theta }(x){)}^{1-y}$
    对于训练数据集，特征数据$x=(x_1,x_2,\dots ,x_m)$和对应的分类数据$y=(y_1,y_2,\dots ,y_m)$。构建逻辑回归模型$h(\theta )$，最典型的构建方法便是应用极大似然估计。那么，极大似然函数为：$$L(\theta )=\prod _{i=1}^{m}P(y|x,\theta )=\prod _{i=1}^m{h}_{\theta }(x,\theta {)}^y(1-h_{\theta }(x,\theta ){)}^{1-y}$$两边同时取对数($\log$)
$$\log (L(\theta ))=\sum _{i=1}^m[y\log (h_{\theta }(x))+(1-y)\log (1-h_{\theta }(x))]$$$$cost(h_{\theta }(x),y)=-\log (L_{\theta })=-\sum _{i=1}^m[y\log (h_{\theta }(x)-(1-y)\log (1-h_{\theta }(x)))]$$$$J(\theta )=-\frac{1}{m}\sum _{i=1}^m[y_i\log (h_{\theta }(x_i))+(1-y)\log (1-h_{\theta }(x_i))]$$
代入$h_{\theta }(x)=g({\theta }^{T}x)=\frac{1}{1+e^{-e^{T}x}}$得：
$$J(\theta )=-y\log (1+e^{-{\theta }^T{x}_i})-(1-y_i)\log (1+e^{{\theta }^T{x}_i})$$采用梯度下降法计算得出：$$\frac{\partial J(\theta )}{\partial {\theta }_i}=\frac{1}{m}\sum _{i=1}^m[h_{\theta }(x_i)-y_i]x_{ij}$$
演算手稿：

二、最大似然估计和最大后验估计

最大似然估计定义：
    给定一个概率分布D，已知其概率密度函数（连续分布）或概率质量函数（离散分布）为$f_D$，以及一个分布参数$\theta$，我们可以从这个分布中抽出一个具有n个值的采样$X_1,X_2,\cdots ,X_n$，利用$f_D$计算出其似然函数：$$L(\theta |x_1,\cdots ,x_n)=f_{\theta }(x_1,\cdots ,x_n)$$若D是离散分布$f_{\theta }$,即是在参数为$\theta$时观测到这一采样的概率。若其是连续分布，$f_{\theta }$则为$X_1,X_2,\cdots ,X_n$联合分布的概率密度函数在观测值处的取值。一旦我们获得$X_1,X_2,\cdots ,X_n$，我们就能求得一个关于$\theta$的估计。最大似然估计会寻找关于$\theta$的最可能的值（即，在所有可能的$\theta$取值中，寻找一个值使这个采样的“可能性”最大化）。从数学上来说，我们可以在$\theta$的所有可能取值中寻找一个值使得似然函数取到最大值。这个使可能性最大的$\hat{\theta }$值即称为$\theta$的最大似然估计。由定义可知，最大似然估计是样本的函数。

定义：
    在贝叶斯统计学中，“最大后验概率估计”是后验概率分布的众数。利用最大后验概率估计可以获得对实验数据中无法直接观察到的量的点估计。它与最大似然估计中的经典方法有密切关系，但是它使用了一个增广的优化目标，进一步考虑了被估计量的先验概率分布。所以最大后验概率估计可以看作是规则化的最大似然估计。
    假设我们需要根据观察数据$x$计没有观察到的总体参数 $\theta$，让$f$作为 $x$ 的采样分布，这样$f(x|\theta )$ 就是总体参数为 $\theta$时 $x$的概率。函数$\theta \to f(x|\theta )$即为似然函数。其估计：$${\hat{\theta }}_{ML}=\arg \underset{\theta }{\max }f(x|\theta )$$就是$\theta$的最大似然估计。
    假设$\theta$存在一个先验分布$g$，这就允许我们将$\theta$ 作为 贝叶斯统计中的随机变量，这样$\theta$的后验分布就是：$$\theta \to \frac{f(x|\theta )g(\theta )}{f_{\theta }f(x|{\theta }^{{}^{\prime }})g({\theta }^{{}^{\prime }})d{\theta }^{{}^{\prime }}}$$其中$\theta$为$g$的gomain，这是贝叶斯定理的直接应用。
    最后验估计方法于是估计$\theta$为这个随机变量的后验分布的众数：$${\hat{\theta }}_{MAP}=\arg \underset{\theta }{\max }\frac{f(x|\theta )g(\theta )}{f_{\theta }f(x|{\theta }^{{}^{\prime }})g({\theta }^{{}^{\prime }})d{\theta }^{{}^{\prime }}}==\arg \underset{\theta }{\max }f(x|\theta )g(\theta )$$后验分布的分母与$\theta$无关，所以在优化过程中不起作用。注意当先验 $g$是常数函数时最大后验估计与最大似然估计重合。
最大后验估计可以用以下几种方法计算：

1. 解析方法，当后验分布的模能够用 解析解 方式表示的时候用这种方法。当使用共轭先验 的时候就是这种情况。
2. 通过如共扼积分法或者牛顿法这样的数值优化方法进行，这通常需要一阶或者导数，导数需要通过解析或者数值方法得到。
3. 通过 期望最大化算法 的修改实现，这种方法不需要后验密度的导数。

    尽管最大后验估计与贝叶斯统计共享先验分布的使用，通常并不认为它是一种贝叶斯方法，这是因为最大后验估计是点估计，然而贝叶斯方法的特点是使用这些分布来总结数据、得到推论。贝叶斯方法试图算出后验均值或者中值以及后验区间估计(posterior interval)，而不是后验模。尤其是当后验分布没有一个简单的解析形式的时候更是这样：在这种情况下，后验分布可以使用马尔可夫链蒙特卡尔理论(Markov chain Monte Carlo)技术来模拟，但是找到它的模的优化是很困难或者是不可能的。

三、最小二乘法和最大似然估计

    最小二乘法（英语：least squares
method），又称最小平方法，是一种数学优化方法。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。
    “最小二乘法”是对超定方程组，即方程个数比未知数更多的方程组，以回归分析求得近似解的标准方法。在这整个解决方案中，最小二乘法演算为每一方程式的结果中，将残差平方和的总和最小化。
    最重要的应用是在曲线拟合上。最小平方所涵义的最佳拟合，即残差（残差为：观测值与模型提供的拟合值之间的差距）平方总和的最小化。当问题在自变量（x变量）有重大不确定性时，那么使用简易回归和最小二乘法会发生问题；在这种情况下，须另外考虑变量-误差-拟合模型所需的方法，而不是最小二乘法。
    最小平方问题分为两种：线性或普通的最小二乘法，和非线性的最小二乘法，取决于在所有未知数中的残差是否为线性。线性的最小平方问题发生在统计回归分析中；它有一个封闭形式的解决方案。非线性的问题通常经由迭代细致化来解决；在每次迭代中，系统由线性近似，因此在这两种情况下核心演算是相同的。
    最小二乘法所得出的多项式，即以拟合曲线的函数来描述自变量与预计应变量的变异数关系。
    当观测值来自指数族且满足轻度条件时，最小平方估计和最大似然估计是相同的。最小二乘法也能从动差法得出。link

四、混淆矩阵

    在机器学习领域和统计分类问题中，混淆矩阵（confusion matrix）是可视化工具，特别用于监督学习，在无监督学习一般叫做匹配矩阵。矩阵的每一列代表一个类的实例预测，而每一行表示一个实际的类的实例。之所以如此命名，是因为通过这个矩阵可以方便地看出机器是否将两个不同的类混淆了（比如说把一个类错当成了另一个）。

上图个字母含义如下表：

	含义
TP	真实类别为positive，模型预测的类别也为positive
FP	预测为positive，但真实类别为negative，真实类别和预测类别不一致
FN	预测为negative，但真实类别为positive，真实类别和预测类别不一致
TN	真实类别为negative，模型预测的类别也为negative

准确率（accuracy）计算公式如下所示：$$ACC=\frac{TP+TN}{TP+FN+FP+TN}=\frac{TP+TN}{alldata}$$    在数据集不平衡时，准确率将不能很好地表示模型的性能。可能会存在准确率很高，而少数类样本全分错的情况，此时应选择其它模型评价指标。

精确率和召回率

	公式
精确率/查准率	$precision=\frac{TP}{TP+FP}=\frac{TP}{预计为positive的样本}$
召回率/查全率	$recall=\frac{TP}{TP+FN}=\frac{TP}{真值为positive的样本}$

    的精确率表示在预测为positive的样本中真实类别为positive的样本所占比例；召回率表示在真实为positive的样本中模型成功预测出的样本所占比例。

$F_1$值和$F_{\beta }$值

	公式
$F_1$	$F_1=\frac{2\cdot precision\cdot recall}{precision+recall}$
$F_{\beta }$	$F_{\beta }=\frac{(1+\beta )\cdot precision\cdot recall}{{\beta }^2\cdot precision+recall}$

注意：在$\beta =1$时，$F_{\beta }$就是$F_1$值，此时$F_{\beta }$认为精确率和召回率一样重要；当$\beta >1$时，$F_{\beta }$认为召回率更重要；当$0<\beta <1$时，$F_{\beta }$认为精确率更重要。除了$F_1$值之外，常用的还有$F_2$和$F_{0.5}$

ROC曲线及其AUC值

    AUC全称为Area Under Curve，表示一条曲线下面的面积，ROC曲线的AUC值可以用来对模型进行评价。ROC曲线下如图所示：

ROC曲线的纵坐标True Positive Rate（TPR）在数值上就等于positive class的recall，记作recallpositive，横坐标False Positive Rate（FPR）在数值上等于(1 - negative class的recall)，记作(1 - $recal{l}_{negative}$)如下所示：$$TRP=\frac{TP}{TP+FN}=recal{l}_{positive}$$$$\begin{gathered} FPR=\frac{FP}{FP+TN}=\frac{FP+T{N}_{T}N}{FP+TN} \\ =1-\frac{TN}{FP+TN} \\ =1-recal{l}_{negative} \end{gathered}$$

    通过对分类阈值$\theta$（默认0.5）从大到小或者从小到大依次取值，我们可以得到很多组TPR和FPR的值，将其在图像中依次画出就可以得到一条ROC曲线，阈值$\theta$取值范围为[0,1]。
    ROC曲线在图像上越接近左上角(0,1)模型越好，即ROC曲线下面与横轴和直线FPR = 1围成的面积（AUC值）越大越好。直观上理解，纵坐标TPR就是$recal{l}_{positive}$值，横坐标FPR就是(1 - $recal{l}_{negative}$)，前者越大越好，后者整体越小越好，在图像上表示就是曲线越接近左上角(0,1)坐标越好。
    上图展示了３个模型的ROC曲线，要知道哪个模型更好，则需要计算每条曲线的AUC值，一般认为AUC值越大越好。AUC值由定义通过计算ROC曲线、横轴和直线FPR = 1三者围成的面积即可得到。