极大似然估计与最小二乘

前言：发出上一篇文章“从线性回归到逻辑回归后”https://www.jianshu.com/p/033b582cf981
我发现了一些问题如：为什么逻辑回归中要用极大似然估计而不是像线性回归一样使用最小二乘法？还是说最小二乘法只能拟合直线？带着这样的问题，我做了一番搜索，在这篇文章中记录下来。因为数学不好，难免有地方是自己猜测的，如有发现错误，烦请指正呀！

问题一：极大似然估计公式变换

在介绍极大似然估计的公式时，一般的思路如下图：

image.png

在介绍完正例和反例的条件概率的表达 和 后，将两式的一般形式写为 ，我不太明白右上角的 和的确切含义，目前猜测为本次抽样中正例和反例分别出现的 次数标签值。

问题二：最小二乘法

最小二乘法不是只能拟合直线，也可以假设二次曲线等，参见马老师的blog：https://www.matongxue.com/madocs/818/

问题三：最小二乘法与极大似然估计

最小二乘法与极大似然估计方法都属于估计模型参数的方法，至于为什么在逻辑回归中使用极大似然估计而不是最小二乘法，是因为sigmoid函数+最小而成得到的函数是非凸函数，不利于求极值（参考：https://blog.csdn.net/zjuPeco/article/details/77165974
）。
其他最大似然估计与最小二乘法之间的关系参考：
最大似然估计和最小二乘法怎么理解？ - 论智的回答 - 知乎
https://www.zhihu.com/question/20447622/answer/518131778
最大似然估计和最小二乘法怎么理解？ - bsdelf的回答 - 知乎
https://www.zhihu.com/question/20447622/answer/25186207

在对逻辑回归的loss function的 进行一阶求导后，得到公式：

image.png

可以发现其中包含预测值与标签值有差的运算，和线性回归很相似。