当使用Sigmoid或者Softmax作为激活函数时，损失函数推荐使用交叉熵损失函数而不是均方差损失函数

Sigmoid

函数形式

$$Sigmoid(x)=\frac{1}{1+e^{-x}}$$

函数图像

导数形式

$$Sigmoi{d}^{\prime }(x)=\frac{e^{-x}}{(1+e^{-x}{)}^2}=Sigmoid(x)(1-Sigmoid(x))$$

交叉熵损失函数

$$L(y,f(x))=-\sum _{i=1}^N[y_{i}logf(x_i)+(1-y_i)log(1-f(x_i))]$$

均方误差损失函数

$$L(y,f(x))=\frac{1}{2}\sum _{i=1}^N(y_i-f(x_i){)}^2$$

为什么使用交叉熵损失而不是均方差损失

例如在逻辑回归问题中，$f(h)$为逻辑回归函数，$h=w^{T}x+b$为线性函数，$f=Sigmoid$.
如果选用均方误差损失的话，当利用梯度下降法求导时
$${▽}_{w_i}L=-(y_i-f(h))f(h)(1-f(h))x_i$$
$${▽}_{b}L=-(y_i-f(h))f(h)(1-f(h))$$
根据上述公式以及Sigmoid的图像可知，由于乘以了单独的$f(h)$项，使得$w$和$b$在更新的过程中大部分时候梯度很小，更新很慢。
而当使用交叉熵损失函数时
$${▽}_{w_i}L=(y_i-f(h))x_i$$
$${▽}_{b}L=(y_i-f(h))$$
消除了$f(h)$的影响，权重的更新是受$y_i-f(h)$这一项影响，即受误差的影响。所以当误差大的时候，权重更新就快，当误差小的时候，权重的更新就慢。这是一个很好的性质。

Softmax

Softmax是Sigmoid的推广，Sigmoid针对二分类，Softmax针对多分类。Softmax多见于神经网络中。其函数形式为
$$Softmax(z_i)=\frac{e^{z_i}}{{\sum }_{j=1}^m{e}^{z_j}}$$
对于交叉熵损失函数形式为
$$L(y,\stackrel{-}{y})=-\sum _{k=1}^m{y}_{k}log{\stackrel{-}{y}}_k$$
在神经网络中，如果使用了Softmax作为激活函数，损失函数使用交叉熵损失函数而不是均方误差损失函数的原因同Sigmoid，不详细阐述了。

交叉熵函数的形式是$-{\sum }_{i=1}^N[y_{i}logf(x_i)+(1-y_i)log(1-f(x_i))]$，而不是 $-{\sum }_{i=1}^N[f(x_i)log{y}_i+(1-f(x_i))log(1-y_i)]$，为什么？因为当期望输出的$y=0$时，$logy$没有意义；当期望$y=1$时，$log(1-y)$没有意义。而因为$f$是$sigmoid$函数的实际输出，永远不会等于0或1，只会无限接近于0或者1，因此不存在这个问题。

参考：
1
2