sigmoid/逻辑回归要用交叉熵/最大似然的原理

对于一个神经元/逻辑回归，可以表示为：
$$z=wx+v,y=\sigma (z)$$
对于平方损失函数：$Cost=C=\frac{(a-y{)}^2}{2}$其中， a 代表真值。
对W求偏导：$\frac{\partial C}{\partial w}=(a-y){\sigma }^{{}^{\prime }}(x)x$
对于最大似然，或者说转化为交叉熵损失函数，
代价函数：$C=-(alny+(1-a)ln(1-y))$
对W求偏导：$\frac{\partial C}{\partial w}=(a-y)x$
对比两个损失函数的导数，我们发现，两者相差了一个 [公式] 。其中sigmoid函数的导数最大为1/4（当x=0）并且当x增大时迅速减小，x减小是也是迅速减小靠近0。

这说明了平方损失函数的学习相比交叉熵损失慢很多。接下来重要的一个点：对于平方损失函数，当预测值和真值背离很远时，比如真值是1，预测值是0.05， 按照我们的期望，这时候算出来的梯度应该要很大才对。但是，这时候 $\sigma (x{)}^{{}^{\prime }}=\sigma (x)(1-\sigma (x))$的值非常小，导致反向传播的梯度非常小，而且，这时，继续减小预测值，梯度会越小。而交叉熵的梯度不会出现这个问题，背离越多，梯度越大，更新越大，对模型产生更多的更新。