Sampled Softmax

阅读了TensorFlow官方文档Candidate Sampling Algorithms Reference，写一下自己关于Sampled Softmax的理解

在多类别问题中，我们常常使用softmax输出各个类别的概率。当类别数量很大时，使用softmax计算量很大。例如，我们的问题是预测一句话中的一个词，那么类别数量就是vocabulary大小。

为此，这篇论文提出了Sampled Softmax的概念。其基本思想就是仅采样一部分类别来做softmax。

---

假设每个训练样本$(x_i,\{t_i\})$包含一个上下文$x$和一个目标类别$t_i$，所有类别的集合记为$L$。对于每个训练样本，我们从 $L$ 中选择一个小的集合$S_i$。$S_i$中的元素是根据一个采样函数$Q(y|x)$选择的，$Q(y|x)$表示上下文是 $x$ 的条件下选择类别 $y$ 的概率 ，各类别被独立选择。

有了$S_i$，定义候选集合为$C_i$：
$$C_i=S_i\cup \{t_i\}$$

如果用前面说的softmax（也就是Full softmax），针对每个 $y\in L$，要计算$P(y|x)$，即给定上下文$x$，目标类别是$y$的概率。
而在Sampled Softmax中，仅针对$y\in C_i$，计算这样的概率。但要注意，这里计算的是$P(t_i=y|x,C_i)$，条件概率的条件多了一个，即给定上下文$x$以及候选集合$C_i$的条件下，目标类别是$y$的概率。

通过贝叶斯法则：
$$\begin{gathered} P(t_i=y|x_i,C_i)=P(t_i=y,C_i|x_i)/P(C_i|x_i) \\ =P(t_i=y|x_i)P(C_i|t_i=y,x_i)/P(C_i|x_i) \\ =P(y|x_i)P(C_i|t_i=y,x_i)/P(C_i|x_i) \end{gathered}$$

其中，$$P(C_i|t_i=y,x_i)=\prod _{y^{\prime }\in C_i-\{y\}}Q(y^{\prime }|x_i)\prod _{y^{\prime }\in L-C_i}(1-Q(y^{\prime }|x_i))$$

从而：
$$\begin{gathered} P(t_i=y|x_i,C_i)=P(y|x_i)\prod _{y^{\prime }\in C_i-\{y\}}Q(y^{\prime }|x_i)\prod _{y^{\prime }\in L-C_i}(1-Q(y^{\prime }|x_i))/P(C_i|x_i) \\ =\frac{P(y|x_i)}{Q(y|x_i)}\prod _{y^{\prime }\in C_i}Q(y^{\prime }|x_i)\prod _{y^{\prime }\in L-C_i}(1-Q(y^{\prime }|x_i))/P(C_i|x_i) \\ =\frac{P(y|x_i)}{Q(y|x_i)}/K(x_i,C_i) \end{gathered}$$

其中，$K(x_i,C_i)$是与$y$无关的函数。取对数：
$$log(P(t_i=y|x_i,C_i))=log(P(y|x_i))-log(Q(y|x_i))+K^{\prime }(x_i,C_i)$$

这个式子就是要送入softmax的（所谓logits）。

---

我们希望神经网络的最后一层输出$F(x,y)$代表 $F(x,y)=log(P(y|x))+K(x)$，因此，训练的时候，手动计算$log(Q(y|x))$，然后相减，得到下式送入softmax：
$$TrainingSoftmaxInput=F(x,y)-log(Q(y|x))$$

如果让$F(x,y)$直接表示 $log(P(y|x))-log(Q(y|x))+K(x)$，结果就会高度依赖于采样分布。