Softmax函数

一、Softmax函数

在数学，尤其是概率论和相关领域中，Softmax函数，或称归一化指数函数，是逻辑函数的一种推广。它能将一个含任意实数的K维向量  “压缩”到另一个K维实向量  中，使得每一个元素的范围都在  之间，并且所有元素的和为1。

该函数的形式通常按下面的式子给出：

                                                                         

其中， j = 1, …, K

Softmax函数实际上是有限项离散概率分布的梯度对数归一化。因此，Softmax函数在包括多项逻辑回归，多项线性判别分析，朴素贝叶斯分类器和人工神经网络等的多种基于概率的多分类问题方法中都有着广泛应用。特别地，在多项逻辑回归和线性判别分析中，函数的输入是从K个不同的线性函数得到的结果，而样本向量x属于第j个分类的概率为：

                                                                   

这可以被视作K个线性函数  Softmax函数的复合（  ）

二、与Sigmoid的异同

Softmax 与 Sigmoid 的 异同

	Softmax	Sigmoid
公式
本质	离散概率分布	非线性映射
任务	多分类	二分类
定义域	某个一维向量	单个数值
值域	[0,1]	（0,1）
结果之和	一定为1	为某个正数