4、线性、逻辑回归比较

1、两者对比

分类模型：目标变量是分类变量（离散值），非直线，取值无限
回归模型：目标变量是连续性数值变量，直线关系，取值0–1

线性回归：
1、y=ax+b直线，多元线性回归组成的不是直线，是一个多维空间中的超平面
2、损失函数：用残差平方和SSE，残差说白了就是真实值和预测值间的差值（也可以理解为差距、距离）。然后对B求导，得到残差的极小值，梯度下降更新损失函数，直到损失函数最小。
3、要求的就是B与损失函数L的问题，也就是L最小时的B。L的最小通过梯度下降来更新B。
3、梯度下降：对损失函数的β求导

逻辑回归：
1、sigmond函数映射到（0，1）
2、损失函数：用最大似然估计，β在取什么值的时候，L(β)能达到最大值。对数损失，就是上面的似然函数取对数后，再取相反数。用对数损失函数，sigmond函数的残差不是凸函数，不易优化，容易陷入局部最小值，所以逻辑函数用的是别的形式的函数作为损失函数，叫对数损失函数。然后对数损失函数对B求导，得到残差的极小值，梯度下降更新损失函数，直到损失函数最小。
3、梯度下降：对损失函数的β求导

2、权重矩阵B

梯度下降法：逻辑和线性，是通用的，包括更为复杂的逻辑回归算法中也可以使用，但是对于较小的数据量来说它的速度并没有优势
正规方程：多元线性回归，的速度往往更快，但是当数量级达到一定的时候，还是梯度下降法更快，因为正规方程中需要对矩阵求逆，而求逆的时间复杂的是n的3次方
最小二乘法：一元线性回归，一般比较少用，虽然它的思想比较简单，在计算过程中需要对损失函数求导并令其为0，从而解出系数θ。但是对于计算机来说很难实现，所以一般不使用最小二乘法。

3、损失函数

线性回归：误差平方和
损失函数是来度量模型预测值与真实值不一样的程度的，或者说度量预测错误的程度，损失函数值越小，模型就越好。在回归问题中，误差平方和是回归任务中最常用的性能度量。这里就可以令损失函数等于误差平方和。
则损失函数为：

逻辑回归：最大似然估计
我们常常用概率(Probability) 来描述一个事件发生的可能性。而似然性(Likelihood) 正好反过来，意思是一个事件实际已经发生了，反推在什么参数条件下，这个事件发生的概率最大。
用数学公式来表达上述意思，就是:
已知参数 β 前提下，预测某事件 x 发生的条件概率为 ;
已知某个已发生的事件 x，未知参数 β 的似然函数为 ；
上面两个值相等，即:
一个参数 β 对应一个似然函数的值，当 β 发生变化，
也会随之变化。当我们在取得某个参数的时候，似然函数的值到达了最大值，说明在这个参数下最有可能发生x事件，即这个参数最合理。
因此，最优β，就是使当前观察到的数据出现的可能性最大的β。

4、参考链接
注意：凸函数和函数的凹凸性不一样
链接1: 逻辑回归
链接2: 线性回归
链接3: 线性回归2
链接4: 线性回归3
链接5: 凸函数