softmax原理及推导

序

本次记录内容主要为softmax的推导，部分内容有参考各网友文章

多分类问题

多分类问题符合多项式分布，softmax是一种用于解决多分类问题的有效方法。

softmax的推导思路为：
首先证明 多项分布属于指数分布族，这样就可以使用广义线性模型来拟合这个多项分布，由广义线性模型推导出的目标函数 h(x) 即为Softmax回归的分类模型。

证明多项式分布是指数分布族

（什么是指数分布族可参考我的另一篇 指数分布族函数与广义线性模型）
多分类模型的输出是该样本属于k个类别的概率，从这k个概率中我们选择最优的概率对应的类别，作为该样本的预测类别。
这k个概率用k个变量 Θ1…Θk 来表示，这k个变量的和为1，即满足：

Θk 可以用前k-1个变量来表示：

使用广义线性模型拟合这个多分类问题，首先要验证这个多项分布是否符合一个指数分布族。定义T(y)为：

在这里，统计分量T(y)并没有像之前那样定义为T(y)=y，因为T(y)不是一个数值，而是一个k-1维的向量。下面使用 表示向量T(y)的第 i 个元素。

下面引入一个新的符号：

如果括号内为true则这个符号取1，反之取0，例如：

那么

与 y 的关系可以表示为：

也就是说，向量T(y)的第 i 个元素是否为1是由当前y是否与 i 相等决定的。
T(y)是一个类似于onehot向量的东西，表示属于k类中的哪一个，则相应位置 i 会置为1。

那么可以得到：

多项式分布转化为指数分布族表达式过程如下：

上面转换过程中每一步的转换依据如下：

以上推导证明了：多项分布表达式可以表示为指数分布族表达式的格式，所以它属于指数分布族，那么就可以用广义线性模型来拟合这个多项式分布模型。

---

softmax推导

由η表达式可得：

转载注明：https://www.jianshu.com/p/5d5e3698f46f