深入推导理解sample softmax loss

查看TensorFlow关于nce loss和sample softmax loss时，发现都会对logit进行修正。为了搞清楚为什么需要对logit修正，以及为什么可以这样修正，参考许多资料后，现总结成文，以飨诸君。

何为logit

Mathematically, the logit is the inverse（反函数） of the standard logistic function $\sigma (x)=\frac{1}{1+e^{-x}}$,so the logit is define as:

$$logit(p)={\sigma }^{-1}(p)=ln(\frac{p}{1-p})forp\in (0,1).$$

因此，logit 也称为对数赔率（log-odds），因为它等于赔率$(\frac{p}{1-p})$的对数，其中$p$是概率。

推导如下：

$$\begin{array}{rl}lety& =logit(x)=ln\frac{x}{1-x}\\ e^y& =\frac{x}{1-x}\\ 1+e^y& =\frac{1-x}{1-x}+\frac{x}{1-x}\\ 1+e^y& =\frac{1}{1-x}\\ x& =1-\frac{1}{1+e^y}\\ x& =\frac{e^y}{1+e^y}\\ x& =\frac{1}{1+e^{-y}}\end{array}$$

即，logit作为sigmoid函数的输入。

loss中的logit修正

需要对logit修正。修正量与负采样得到的相同y的概率$Q(y|x)$有关。

修正后的logit如下形式，表示x与y的匹配度：

$$G(x,y)=F(x,y)-logQ(y|x)$$

NCE loss

NCE-based methods are used for estimating the parameters of a statistical distribution by differentiating between “real data” and “noise”.

对于NCE而言，是将多分类问题转化为了若干个二分类问题。因此，修正后的logit，作为sigmoid函数的输入，以进一步计算binary交叉熵损失。

$$\begin{array}{rl}{L}_{NCE}& =-[\sum _{y_i\in T_i}log(\sigma (G(x_i,y_i)))+\sum _{y_i^{\prime }\in S_i}log(1-\sigma (G(x_i,y_i^{\prime })))]\\ & =\sum _{y_i\in T_i}log(1+exp(-G(x_i,y_i)))+\sum _{y_i^{\prime }\in S_i}log(1+exp(G(x_i,y_i^{\prime })))\end{array}$$

sample softmax loss

与NCE一样的修正公式，也就是说模型得到$F(x,y)$（比如user embedding和item embedding的点积）之后，再根据负采样到$y$的概率$Q(y|x)$进行修正，修正后的数值才喂入softmax计算loss：

$$\begin{array}{rl}{L}_{SampleSoftmax}& =-log\frac{exp(G(x_i,y_i))}{{\sum }_{y_i^{\prime }\in C_i}exp(G(x_i,y_i^{\prime }))}\\ & =-G(x_i,y_i)+log\sum _{y_i^{\prime }\in C_i}exp(G(x_i,y_i^{\prime }))\end{array}$$

注意：由于预测的时候不需要计算loss，因此不需要修正logit。

---

sample softmax推导过程

如何理解sample softmax中的$G(x,y)$？

以u2i场景描述该问题，给定一个用户$x_i$，其点击的物料是$t_i$，再给他按照$Q(y,x)$采样一批负样本$S_i$。原始的softmax问题是，在整个物料库$I$中那个item是$x_i$点击的。通过sample softmax，问题演变为在$x_i$的候选集$C_i=\{t_i\}\cup S_i$中，正确挑选出$t_i$的概率是多少，即建模$P(y=t_i|x_i,C_i)$。

假设我们聚焦于第i个样本，以下公式省略下标i，那么根据条件概率公式展开，有：

$$\begin{array}{rl}P(y|x,C)& =\frac{P(y,x,C)}{P(x,C)}\\ & =\frac{P(C|x,y)P(x,y)}{P(C|x)P(x)}\\ & =\frac{P(C|x,y)P(y|x)P(x)}{P(C|x)P(x)}\\ & =\frac{P(C|x,y)P(y|x)}{P(C|x)}\end{array}$$

其中，$P(C|x,y)$表示在用户$x$和某一个物料$y$给定的情况下，构成整个物料候选集$C$的概率。由于$C=\{t\}\cup S$，因此它等价于$C$中每个物料被采样到的概率，与$I-C$中每个物料未被采样到的概率的乘积。即：
$$\begin{array}{r}P(C|x,y)=\prod _{y^{\prime }\in C-y}Q(y^{\prime }|x)\times \prod _{y^{\prime }\in I-C}1-Q(y^{\prime }|x)\end{array}$$

由此可得：

$$\begin{array}{rl}P(y|x,C)& =\frac{P(C|x,y)P(y|x)}{P(C|x)}\\ & =\frac{P(y|x)\times {\prod }_{y^{\prime }\in C-y}Q(y^{\prime }|x)\times {\prod }_{y^{\prime }\in I-C}1-Q(y^{\prime }|x)}{P(C|x)}\\ & =\frac{P(y|x)}{Q(y,x)}\times \frac{{\prod }_{y^{\prime }\in C}Q(y^{\prime }|x)\times {\prod }_{y^{\prime }\in I-C}1-Q(y^{\prime }|x)}{P(C|x)}\\ & =\frac{P(y|x)}{Q(y,x)}\times K(x,C)\end{array}$$

其中，$\frac{{\prod }_{y^{\prime }\in C}Q(y^{\prime }|x)\times {\prod }_{y^{\prime }\in I-C}1-Q(y^{\prime }|x)}{P(C|x)}$是与当前预测的$y$无关，因此等价于一个与$x$和$C$有关的常数$K(x,C)$。

进一步，两边取对数可得：

$$\begin{array}{rl}P(y|x,C)& =\frac{P(y|x)}{Q(y,x)}\times K(x,C)\\ logP(y|x,C)& =logP(y|x)-logQ(y|x)+K^{\prime }(x,C)\end{array}$$

基于此，loss表示为：

$$\begin{array}{rl}{L}_{SampleSoftmax}& =-log\frac{exp(G(x,y))}{{\sum }_{y^{\prime }\in C_i}exp(G(x,y^{\prime }))}\\ & =-G(x,y)+log\sum _{y^{\prime }\in C_i}exp(G(x,y^{\prime }))\end{array}$$

其中，$logP(y|x)$可以理解为模型输出的$x$与$y$的匹配度$F(x,y)$。与候选物料$y$无关的常数$K$不影响softmax的结果，因此最后需要喂入softmax的$x,y$匹配度需写成$G(x,y)$，即：

$$\begin{array}{r}G(x,y)=F(x,y)-logQ(y|x)\end{array}$$

---

理解logit修正

为了方便理解推导采样后的logit的修正公式，可以先考虑原始类别全集$I$上logit与概率的关系。即：
$$\begin{array}{rl}P(y|x)& =\frac{exp(F(x,y))}{{\sum }_{y^{\prime }\in I}exp(F(x,y^{\prime }))}\end{array}$$

其中，$F(x,y)$为模型输出的$x$与$y$的匹配度（比如user embedding和item embedding的点积）,即给定输入x，输出类别为y的logits。上式两边同时取对数，有：

$$\begin{array}{rl}logP(y|x)& =log\frac{exp(F(x,y))}{{\sum }_{y^{\prime }\in I}exp(F(x,y^{\prime }))}\\ logP(y|x)& =F(x,y)-log\sum _{y^{\prime }\in I}exp(F(x,y^{\prime }))\\ logP(y|x)& =F(x,y)-K(x)\end{array}$$

采样后类别子集$C_i$上的logit与原始类别全集$I$上logit的关系？基于以上的推导，概率与logit之间存在以下关系：

原始类别全集$I$上logit与概率的关系：
$$\begin{array}{rl}logP(y|x)& =F(x,y)-K_1(x)\end{array}$$

同理可得，采样后类别子集$C_i$上logit与概率的关系：
$$\begin{array}{rl}logP(y|x,C)& =F(x,y|C)-K_2(x)\end{array}$$

又根据条件概率计算所得的采样后类别子集$C_i$与全集$I$上的概率分布关系,

$$\begin{array}{rl}logP(y|x,C)& =logP(y|x)-logQ(y|x)+K^{\prime }(x,C)\end{array}$$

由（1）、（2）、（3）式可得：

$$\begin{array}{rl}logP(y|x,C)& =logP(y|x)-logQ(y|x)+K^{\prime }(x,C)\\ logP(y|x,C)& =F(x,y)-K_1(x)-logQ(y|x)+K^{\prime }(x,C)\\ F(x,y|C)-K_2(x)& =F(x,y)-K_1(x)-logQ(y|x)+K^{\prime }(x,C)\\ F(x,y|C)& =F(x,y)-logQ(y|x)+K^{\prime }(x,C)-K_1(x)+K_2(x)\\ F(x,y|C)& =F(x,y)-logQ(y|x)+Const\end{array}$$

由此推导出的公式便是我们进行采样后的logit，即$F(x,y|C)$与原始logit 即$F(x,y)$之间的关系。
这里的修正量便是$logQ(y|x)$。具体使用方式如下：

1. 通过$Q(y|x)$对类别采样，得到一个类别子集$C_i$；
2. 模型对采样类别子集$C_i$中的类别分别计算logit，即$F(x,y)$；
3. 对于计算出的$F(x,y)$，减去修正量$Q(y|x)$，得到采样后子集的logit，即$F(x,y|C)$；
4. 使用$F(x,y|C)$作为softmax的输入，计算不同类别的概率分布。同时使用$F(x,y|C)$计算loss进行梯度下降。

部分参考资料

https://zhuanlan.zhihu.com/p/528862933

https://zhuanlan.zhihu.com/p/143830417

https://zhuanlan.zhihu.com/p/539913423