从线性回归到逻辑回归

线性回归

线性回归之所以称为线性回归，是由于其目标是拟合一条直线来对样例进行分类。
线性回归试图学到和，预测值为：

线性回归一般通过最小二乘法找到参数，得到需要的“直线”。

逻辑回归

线性模型拟合的是直线，如果我们想要拟合其他形状的线呢？例如下图的曲线呢？下图的曲线是直线的衍生物，可以通过直线变化而来，也就是：

image.png

现在我们得到的

我们定义为正例，为负例（二分类情况）。现在我们采用最大似然估计来找到参数和。
最大似然估计的思想是“令每个样本属于其真实标记的概率越大越好”，因此，我们的loss function定义如下：

最终的loss function为：

对求一阶导为：