Sigmoid 与 Softmax 的区别

参考： Multi-label vs. Multi-class
Classification: Sigmoid vs. Softmax、 Sigmoid function、 Softmax function

结论

sigmoid：使大的值更大、小的值更小（数值被归整到0-1之间）；多用于多分类问题。

• Linear regression的输出使用sigmoid激活后成为logistic regression，logistic regression能实现非线性特征变换，这也就是加深网络的意义。（Limitation of Logistic Regression）
• 类似的激活函数还有ReLU（rectified linear unit）、tanh（双曲正切）函数等（3.8 多层感知机）

softmax：使所有的值之和为1（保持数值间的大小关系）；可用于多标签分类问题。

• 和线性回归不同，softmax回归的输出单元从⼀个变成了多个，且引⼊了softmax运算使输出更适合离散值的预测和训练（3.4 softmax回归）

定义

sigmoid 处理的是单个输入值，不关注整体输入数据的关系。对于$K$分类问题中处理样本$x_i$有：
$$\sigma ({\gamma }_{ij})=\frac{1}{1+e^{-{\gamma }_{ij}}}\mathrm{f}\mathrm{o}\mathrm{r}j=1,...,K$$

softmax 处理的是单个与整体的输入值，关注整体输入数据的关系。对于$K$个标签的多分类问题中处理样本$x_i$有：
$$softmax({\gamma }_{ij})=\frac{e^{{\gamma }_{ij}}}{{\sum }_{k=1}^K{e}^{{\gamma }_{ik}}}\mathrm{f}\mathrm{o}\mathrm{r}j=1,...,K$$

图例

拓展：sigmoid、tanh求导

sigmoid求导

$$\mathrm{s}\mathrm{i}\mathrm{g}\mathrm{m}\mathrm{o}\mathrm{i}\mathrm{d}=\frac{1}{1+e^{-x}}$$

$$\begin{array}{rl}{\mathrm{s}\mathrm{i}\mathrm{g}\mathrm{m}\mathrm{o}\mathrm{i}\mathrm{d}}^{\prime }(x)& =\frac{\mathrm{d}\left(\frac{1}{1+e^{-x}}\right)}{\mathrm{d}\left(1+e^{-x}\right)}\cdot \frac{\mathrm{d}\left(1+e^{-x}\right)}{\mathrm{d}(-x)}\cdot \frac{\mathrm{d}(-x)}{\mathrm{d}x}\\ & =-\frac{1}{{\left(1+e^{-x}\right)}^2}\cdot e^{-x}\cdot -1\\ & =\frac{e^{-x}+1-1}{{\left(1+e^{-x}\right)}^2}=\frac{1}{1+e^{-x}}-\frac{1}{{\left(1+e^{-x}\right)}^2}\\ & =\frac{1}{1+e^{-x}}\left(1-\frac{1}{1+e^{-x}}\right)\\ & =\mathrm{s}\mathrm{i}\mathrm{g}\mathrm{m}\mathrm{o}\mathrm{i}\mathrm{d}(x)\left(1-\mathrm{s}\mathrm{i}\mathrm{g}\mathrm{m}\mathrm{o}\mathrm{i}\mathrm{d}(x)\right)\end{array}$$

tanh求导

$$\mathrm{t}\mathrm{a}\mathrm{n}\mathrm{h}(x)=\frac{1-e^{-2x}}{1+e^{-2x}}$$

$$\begin{array}{rl}{\mathrm{t}\mathrm{a}\mathrm{n}\mathrm{h}}^{\prime }(x)& =\frac{\frac{\mathrm{d}\left(1-e^{-2x}\right)}{\mathrm{d}x}\cdot \left(1+e^{-2x}\right)-\left(1-e^{-2x}\right)\cdot \frac{\mathrm{d}\left(1+e^{-2x}\right)}{\mathrm{d}x}}{{\left(1+e^{-2x}\right)}^2}\\ & =\frac{\frac{\mathrm{d}\left(1-e^{-2x}\right)}{\mathrm{d}(-2x)}\cdot (-2)\cdot \left(1+e^{-2x}\right)-\left(1-e^{-2x}\right)\cdot \frac{\mathrm{d}\left(1+e^{-2x}\right)}{\mathrm{d}(-2x)}\cdot (-2)}{{\left(1+e^{-2x}\right)}^2}\\ & =\frac{-e^{-2x}\cdot (-2)}{1+e^{-2x}}-\frac{\left(1-e^{-2x}\right)\cdot e^{-2x}\cdot (-2)}{{\left(1+e^{-2x}\right)}^2}=\frac{4e^{-2x}}{{\left(1+e^{-2x}\right)}^2}\\ & =\frac{{\left(1+e^{-2x}\right)}^2-{\left(1-e^{-2x}\right)}^2}{{\left(1+e^{-2x}\right)}^2}\\ & =1-{\mathrm{t}\mathrm{a}\mathrm{n}\mathrm{h}}^2(x)\end{array}$$