Sigmoid和Softmax的区别和联系

1、公式

1.1 Softmax

  $Softmax$函数的取值范围为$[0,1]$，每个输出值都可当成概率来理解。

$$Softmax(x_i)=\frac{e^{x_i}}{{\sum }_{j=1}^N{e}^{x_j}}$$

1.2 Sigmoid

  $Sigmoid$函数也叫$Logistic$函数，输出范围为$[0,1]$。

$$Sigmoid(x)=\frac{1}{1+e^{-x}}$$

2、区别

  对于分类任务来说，假设有$N$个类别，则：

• $Softmax$函数的输出值有$N$个，且这$N$个输出值之和为1

• $Sigmoid$函数的输出值有$N$个，但这$N$个输出值之和不为1

3、以二分类为例

  此时$N=2$，理论上，二者没有区别：

$$Sigmoid(x_1)=\frac{1}{1+e^{-x_1}}$$

$$Softmax(x_1)=\frac{e^{x_1}}{e^{x_0}+e^{x_1}}=\frac{1}{e^{-(x_1-x_0)}}$$

  在$Softmax$公式中，$e^{x_0}$代表背景类，$e^{x_1}$代表目标类，令$z=x_1-x_0$，则与$Sigmoid$公式完全相同。

  但二者在实际应用中存在区别，即$Softmax$函数对应最后一层全连接层的神经元个数是$2$，而$Sigmoid$函数对应最后一层全连接层的神经元个数是$1$。因为$Softmax$函数将目标分为两类，而$Sigmoid$函数将目标分为一类。

4、代码验证

4.1 二分类

import torch
import matplotlib.pyplot as plt

if __name__ == "__main__":
    print("Start ...")
    x = torch.arange(0, 1, 0.5) 			# x = [0.0000, 0.5000]
    sigmod = torch.sigmoid(x) 				# sigmod = [0.5000, 0.6225]
    softmax = torch.softmax(x, dim=0)		# softmax = [0.3775, 0.6225]
    plt.figure(3, figsize=(12, 10)
    plt.subplot(3, 1, 1)
    plt.plot(x, label="x")
    plt.legend()
    plt.subplot(3, 1, 2)
    plt.plot(sigmod, 'g', label="Sigmod")
    plt.legend()
    plt.subplot(3, 1, 3)
    plt.plot(softmax, 'r', label="Softmax")
    plt.legend()
    plt.show()

  上例中，类别数$N=2$，输入值为 $x=[0.0000,0.5000]$，$Sigmoid$函数的输出值为 $sigmod=[0.5000,0.6225]$，$Softmax$函数的输出值为$softmax=[0.3775,0.6225]$

  可以看出，$Softmax$函数的两个输出值之和为$1$，这两个输出值分别表示“分到正确类别的概率和分到错误类别的概率”；$Sigmoid$函数的两个输出值之和不为$1$，且都在$[0,1]$之间，这两个输出值分别表示“分到正确类别的概率和未分到正确类别的概率”。

4.2 多分类（以十分类为例）

import torch
import matplotlib.pyplot as plt

if __name__ == "__main__":
    print("Start ...")
    x = torch.arange(0, 1, 0.1) 		# x = [0.0000, 0.1000, 0.2000, 0.3000, 0.4000, 0.5000, 0.6000, 0.7000, 0.8000, 0.9000]
    sigmod = torch.sigmoid(x)			# sigmoid = [0.5000, 0.5250, 0.5498, 0.5744, 0.5987, 0.6225, 0.6457, 0.6682, 0.6900,0.7109]
    softmax = torch.softmax(x, dim=0)	# softmax = [0.0612, 0.0676, 0.0748, 0.0826, 0.0913, 0.1009, 0.1115, 0.1233, 0.1362,0.1505]
    plt.figure(3, figsize=(12, 10))
    plt.subplot(3, 1, 1)
    plt.plot(x, label="x")
    plt.legend()
    plt.subplot(3, 1, 2)
    plt.plot(sigmod, 'g', label="Sigmod")
    plt.legend()
    plt.subplot(3, 1, 3)
    plt.plot(softmax, 'r', label="Softmax")
    plt.legend()
    plt.show()

  上例中，类别数$N=10$，输入值为 $x=[0.0000,0.1000,0.2000,0.3000,0.4000,0.5000,0.6000,0.7000,0.8000,0.9000]$，$Sigmoid$函数的输出值为 $sigmod=[0.5000,0.5250,0.5498,0.5744,0.5987,0.6225,0.6457,0.6682,0.6900,0.7109]$，$Softmax$函数的输出值为$softmax=[0.0612,0.0676,0.0748,0.0826,0.0913,0.1009,0.1115,0.1233,0.1362,0.1505]$

  可以看出，$Softmax$函数的10个输出值之和为$1$，$Sigmoid$函数的10个输出值之和不为$1$，且都在$[0,1]$之间。

5、总结

• 如果模型的输出为非互斥类别，可选用$Sigmoid$函数计算该网络的输出

• 如果模型的输出为互斥类别，则选用$Softmax$函数计算该网络的输出

• 对于某个分类场景，如果能使用$Softmax$的话，则一定能使用$Sigmoid$