逻辑回归交叉熵推导及其求偏导

逻辑回归虽然叫做回归，但是它实际上做的是分类任务。以下是逻辑回归的一些基础知识。

1. 交叉熵推导

Sigmoid公式为：
$$g(z)=\frac{1}{1+e^{-z}}$$
图像为：

因为Sigmoid函数的定义域为（$-\infty$,$+\infty$）,值域为（0,1），概率正好也是这个区间，因此很适用于二分类问题。z相当于线性回归中的预测值，将其输入Sigmoid函数中就可以得到预测概率，有以下公式：

其中：

相当于线性回归中拟合函数。
那么分类任务可写为：

将其整合有：

概率，乘法，让人想起似然函数：

似然函数的目的就是，寻找到最适合模型的参数θ，使最后的概率值最大。
取对数似然，有：

$l(\theta )$的导数为正数，因此需要引入$-\frac{1}{m}$将其转化为可用梯度下降来解决的任务：
$$J(\theta )=-\frac{1}{m}\sum _{i=1}^m(y_{i}log{h}_{\theta }(x_i)+(1-y_i)log(1-h_{\theta }(x_i)))$$
这就推导出了交叉熵损失函数的公式。

2.交叉熵（损失函数）求导过程