彻底理解 softmax、sigmoid、交叉熵（cross-entropy）

sigmoid 函数

sigmoid 函数也叫S函数，因为它的函数曲线的形状像字母 S，由此得名。其形式为：

sigmoid 函数曲线

sigmoid 函数的输入是一个标量，输出也是一个标量，是一个标量到标量的映射。从函数曲线或函数表达式可以看出，sigmoid 函数的定义域为全体实数 ，值域为 (0,1) 区间，由此可以发现，sigmoid 函数能够起到将任意数值放缩到 (0,1) 区间内部。sigmoid 函数过去经常作为神经网络的激活函数，这是因为一方面 sigmoid 函数能够将那些过大或过小的数值缩放到 (0,1) 区间内部，同时还可以保持其相对大小；另一方面 sigmoid 函数的导数 ，可以发现 sigmoid 函数的导数可以由 sigmoid 本身直接得到，这个特性使得 sigmoid 函数在神经网络的反向传播过程中的求导十分容易。然而现在更常用的激活函数是形式更为简单的 ReLU 函数。

值得一提的是，sigmoid 函数的原函数叫做 softplus 函数，其形式为：

softplus 函数曲线（绿色）

softplus 函数的值域为 ，可用来产生正态分布的均值 和标准差 ，softplus 函数的名字来源于 函数的平滑形式。

softplus 函数的导数是 sigmoid 函数 。

softmax 函数

softmax 函数，顾名思义是一种 max 函数，max 函数的作用是从一组数据中取最大值作为结果，而 softmax 也起到类似的作用，只是将这组数据进行一些处理，使得计算结果放缩到 (0,1) 区间内。

softmax 函数首先将这组数据中的每一个值 都转换为自然对数 的指数，即 ，随后将每个转换后的数据 都除以所有转换后数据的和 ，即 ，就是 softmax 对数据 的输出结果。这里需要注意的是，softmax 的作用是将一组数据的每一个都转换到 (0,1) 区间内，输入是一个向量，输出也是一个向量，是一个从向量到向量的映射；而 max 函数是将一组数据中的最大值作为输出，输入是一个向量，输出则是一个标量（一个数），是一个从向量到标量的映射，max 函数将输入数据的维度进行了压缩。

softmax 函数与 sigmoid 函数

softmax 函数可视作 sigmoid 函数在向量上的扩展形式。sigmoid 函数的输入为一个标量，作用是将其放缩到 (0,1) 区间内，而 softmax 的输入为一个向量，输出也是一个向量，作用与 sigmoid 相同，只是 softmax 函数会保持这个向量内每个分量互相之间的相对大小（分量小的在 softmax 后依然小，分量大的在 softmax 后依然大）。考虑一个 2 维向量 ，，，当 时，，其形式与 sigmoid 函数一致。

交叉熵（cross-entropy）

交叉熵函数是用于计算两个概率分布之间的差异，其输入为两个分布，输出为一个标量，该标量表示两个分布之间的差异程度。交叉熵的形式为：

这里需要注意的是，在交叉熵函数中，交换分布 p 和 q 的顺序会影响交叉熵函数的输出结果，因为交叉熵函数 的作用是以分布 p 为基准，对分布 q 进行评估，将其交换顺序会导致评估的基准不一致， 与 的意义并不相同。

交叉熵函数与 softmax 函数

在深度学习中，经常将交叉熵函数与 softmax 函数相关联，这是因为 softmax 函数对一组数据的每个数据进行计算后，可以将这组数据中的每一个都映射到 (0,1) 区间上，并且其和为 1，符合概率的定义，而交叉熵恰恰是对概率分布进行计算，因此通常将 softmax 函数的输出结果作为交叉熵函数的输入，将二者构造为复合函数。

在深度学习的训练过程中，通常将每个输入的真实标签值设置为分布 p，预测值设置为分布 q，利用交叉熵函数计算出的值作为损失值，将其用于后续的反向传播计算梯度并更新权重。在这里，设 softmax 函数对输入数据 预测为第 类的概率为 ，输入数据 属于第 类的真实概率为 ，那么交叉熵函数的形式为：

根据以上公式，对模型预测的第 类的导数为：

softmax 函数对输入的导数的形式可由 softmax 本身得到，其形式十分简单（由于自然对数 的存在）：

将 softmax 函数的输出作为交叉熵函数中的概率 ，即 ，那么交叉熵函数对 softmax 函数的输入的导数为：

由于这里将 softmax 函数视作 p，即：

将 softmax 用 p 代替，也就是将 替换为 ：

最后将上式代入到交叉熵函数的导数 中，即可得到交叉熵函数对输入 的导数：

可以看到交叉熵函数与 softmax 函数结合使用，可以得到十分简洁的导数形式，只需将 softmax 的输出结果减 1 再与对应的标签值 相乘即可得到在第 类上的导数，对每个类别分别计算相应的导数，即可得到我们需要的梯度。在许多任务中，标签值往往用 one-hot 形式表示， 一般为 1，那么只需将 softmax 函数的计算结果减 1 即可得到本次传播的第 类的导数值，这使得反向传播中梯度的计算变得十分简单和方便。