logistic回归梯度下降算法

在《机器学习实战》一书的第5章中讲到了Logistic用于二分类问题。书中只是给出梯度上升算法代码，但是并没有给出数学推导。故哪怕是简单的几行代码，依然难以理解。
由于sigma函数的特性，我们可作出如下的假设：

上式即为在已知样本X和参数θ的情况下，样本X属性正类(y=1)和负类(y=0)的条件概率。
将两个公式合并成一个，如下：

既然概率出来了，那么最大似然估计也该出场了。假定样本与样本之间相互独立，那么整个样本集生成的概率即为所有样本生成概率的乘积：

其中，m为样本的总数，y(i)表示第i个样本的类别，x(i)表示第i个样本，需要注意的是θ是多维向量，x(i)也是多维向量。
为了简化问题，我们对整个表达式求对数，(将指数问题对数化是处理数学问题常见的方法)：

满足似然函数(θ)的最大的θ值即是我们需要求解的模型。
回到Logistic Regression问题，我们同样对函数求偏导。

再由：

可得：

接下来就剩下第三部分：

还有就是：

综合三部分即得到：

因此，梯度迭代公式为：