逻辑回归梯度下降法

1、逻辑回归的公式为：


其中：

则：

叫做预测函数，一般表示结果取1的概率，那么对于单条样本分类1和0的概率分别为：

可以整理成如下格式：

2、构造损失函数(cost函数)：
利用最大似然估计推导损失函数，最大似然估计就是利用已知的样本结果，反推能导致这样结果最大概率的一组参数值。举例：假设一个袋子中只装有未知数的黑球和白球，现在有放回的随机抽取球，做了一次测试，这次测试中抽取了10次，结果其中8次抽到了黑球，2次抽到了白球，假设抽到黑球的概率是p,那么抽到8次黑球和2次白球的概率为：，现在要求p是多少？
这里已经有了抽样10次，抽到了8次黑球，2次白球的样本结果，那么导致结果P最大概率下的p就是抽到黑球的概率。这里的思想就是最大似然思想。
根据最大似然估计可知，由已知的样本结果(各个维度的值和分类的类别)，反推导致这样结果出现最大概率的一组参数值()，可以取似然函数为：


两边取对数(单调性不变)，将相乘转为相加：

对数似然函数为： 。
最大似然估计就是要求使取最大值时的一组。由于是凸函数，有极大值，可以乘以一个负系数，变成凹函数。得到逻辑回归的损失函数：

现在只要求得最小值时的那组值，就是求得了满足最大似然函数最大的那组最佳值。
利用梯度下降法求的最小值：
要求的的最小值，只要求得满足偏导为零时的那组就可以。







补充：

通过将

来求解方程组，由于参数的数量很多，得到最佳的一组值不大现实。可以使用梯度下降法来求解方程组的值。根据梯度下降法可以得到的更新过程如下：

代表学习步长。表示在t+1时刻的一组参数值，表示在t时刻的一组参数值,表示在当前下随着变化而变化的趋势，