逻辑回归与极大似然估计

寄语：争取每天都写一些深度学习的笔记，学有所获。

逻辑回归定义

由于为非凸函数，存在很多局部最小值，用常规的可能难以求解全局最小值，因此使用极大似然估计来求解代价函数，从而求解梯度。

极大似然估计求梯度

设在某条件下，得到的概率为：

则得到的概率为：

合并，得：

以上是对于单个样本的表达，对于所有的个样本，由极大似然估计有：

这种累乘的形式比较难算，一般尿性都是取对数：

由于极大似然估计是要使最大，而作为损失函数来说，要求损失最小，所以给上式加个负号即可，即：

接着当然是求梯度：

注意到：

由sigmoid函数的性质有：

故：

因此：

得到：

最后由梯度下降法更新权重即可：

其中表示学习率，表示预测值，表示实际值。

至此，过程结束。