逻辑回归损失函数求导推导过程

逻辑回归——分类算法

逻辑回归损失函数求导推导过程_第1张图片

 

代价函数的寻找

sigmoid函数的非线性会导致损失函数变得非线性,无法找到全局最优值,所以需要进行损失函数替换。

 

逻辑回归损失函数求导推导过程_第2张图片

 

代价函数的合理性分析

预测正确,损失较小;预测错误,损失较大

逻辑回归损失函数求导推导过程_第3张图片

 

两个式子合并为一个式子

逻辑回归损失函数求导推导过程_第4张图片

 

梯度下降过程

 

逻辑回归损失函数求导推导过程_第5张图片

推导过程

逻辑回归损失函数求导推导过程_第6张图片

 

 

 

 

 

 

 

 

 

 

你可能感兴趣的:(机器学习)