线性回归与逻辑回归的联系

线性回归 (linear regression)

给定数据集，其中，。线性回归试图学得一个线性模型来尽可能好地拟合数据。

为了求解模型参数，我们通常采用均方误差(mean squared error, MSE)损失函数：

均方误差有非常好的几何意义，对应了常用的欧氏距离。
采用最小化均方误差来进行模型求解的方法就是最小二乘法，我们高中就接触过的方法，可求得的解析解。

逻辑回归 (logistic regression)

在回归任务中，，是连续变量。而在分类任务中，是离散变量，比如二分类 ，因此我们需要找个单调可微的函数将线性回归的预测实值和分类任务的离散标签联系起来。

针对二分类任务，，线性回归模型的预测实值，为了将实值映射到，我们考虑利用
Sigmoid函数，即：

当时，，预测标签为；
当时，，预测标签为。

Sigmoid

Sigmoid函数值域为(0, 1)，形似S曲线，可以方便将实值转化为一个在0或1附近的值。

进一步地，我们将Sigmoid函数的输出视为将样本预测为正类的概率，即：

然后我们采用极大似然法来估计模型参数：
似然函数为

对数似然函数为

等价于最小化loss为

这就是交叉熵损失函数(Cross Entropy Loss Function)。

更进一步地，我们将二分类任务的交叉熵损失函数扩展到多分类，假设总共分为类，，。则：

表示第个样本真实标签是否为，当第个样本属于第类时，，否则。表示第个样本被预测为第类的概率。

为了分析方便，我们令，则当第个样本的真实标签为时，该项可简写为：

两者关联

1. 线性回归采用均方误差损失等价于极大似然。
   在逻辑回归中，求解模型参数我们采用的是极大似然估计法；而在线性回归中，求解模型参数我们采用了最小二乘法。
   但其实本质上，线性回归求解参数采用最小化均方误差等价于极大似然估计，证明如下：
   首先，我们将模型参数也融入向量中，可得线性回归采用均方误差损失函数为：
   
   我们假设预测值和真实值之间的误差服从标准正态分布，即，则有：
   
   所以，
   
   忽略常量,
   
   可以看出，最小化Loss等价于极大化似然。

2. 逻辑回归也称对数几率回归，几率(odds)的定义为将样本预测为正例的概率与样本预测为负例的概率的比值，因此对数几率定义为：
   
   可见在逻辑回归中，样本预测为正例的对数几率是输入的线性函数，因此也称对数几率回归。