论文阅读笔记：Frequency-Aware Contrastive Learning for Neural Machine Translation

论文链接：https://arxiv.org/abs/2112.14484
author={Zhang, Tong and Ye, Wei and Yang, Baosong and Zhang, Long and Ren, Xingzhang and Liu, Dayiheng and Sun, Jinan and Zhang, Shikun and Zhang, Haibo and Zhao, Wen},
journal={arXiv preprint arXiv:2112.14484},
year={2021}

背景：
低频词预测在现代神经机器翻译（neural machine translation, NMT）系统中仍然是一个挑战。最近的自适应训练方法通过强调它们在整体训练目标中的权重来促进不常用词的输出。尽管低频词的召回率有所提高，但它们的预测精度却意外地受到自适应目标的阻碍。

作者提出了一种频率感知 token 级对比学习方法（Frequency-aware token-level Contrastive Learning
method , FCL），该方法将每个解码步骤的隐藏状态基于相应的词频率，以软对比的方式远离其他目标词的对应状态。作者在广泛使用的NIST中英任务和WMT14英语德语翻译任务进行了实验。实证结果表明，该方法不仅能显著提高翻译质量，而且还能提高词汇多样性，优化词汇表示空间。进一步的研究表明，与相关的自适应训练策略相比，FCL在低频词预测方面的优势在于在不牺牲精度的情况下，具有不同频率的标记级召回的鲁棒性。

Method
FCL首先将自回归神经机器翻译转换为一系列分类任务，并通过token级对比学习方法(TCL)来区分变压器解码器中不同目标token的隐藏表示。为了便于低频词的翻译，进一步为TCL配备了频率感知的软权值，突出了不频繁标记的分类边界。
以下是作者给出的TCL和FCL的概述示意图：

令牌级对比学习(TCL)和频率感知对比学习(FCL)的一个例子。(a)TCL对比了批处理中目标token的token级隐藏表示s。对于第一句y1中的锚定“gene”，其阳性有两个来源，即其对应的辍学噪声（用红色自指向箭头表示）和y2中的“gene”。所有其他的成批代币都是底片。(b)FCL进一步利用token频率信息来应用频率感知的软权值w(i，j)。因此，相对不频繁的标记（如“gene基因”和“alopecia脱发”）之间的对比效应被放大，它们可以在表征空间中进一步分开。

数学表达：
给定一个带有K个平行句子对的小批处理，${\left\{{\mathbf{X}}_k,{\mathbf{Y}}_k\right\}}_{k=1}\dots K$,其中包含M个源token和N个目标token，第$i$批中目标标记$y_i$的转换概率$p（yi|y<i，x）$通常通过将最后一层解码器隐藏状态$s_i$乘以softmax层中的softmax嵌入矩阵$W_s$来计算：
$$p\left(y_i\mid {\mathbf{y}}_{<i},\mathbf{x}\right)\propto \exp \left({\mathbf{W}}_{\mathbf{s}}\cdot s_i\right)$$

• TCL 的目标可以表示为$$L_{TCL}=-\frac{1}{N}\sum _{i=1}^N\sum _{s_p\in S_p(i)}\log \frac{e^{\mathrm{sim}\left(s_i\cdot s_p\right)}}{{\sum }_{j=1}^N{e}^{\mathrm{sim}\left(s_i\cdot s_j\right)}}$$
  其中，$sim（s_i\cdot s_p）$表示$s_i$和$s_p$之间的余弦相似性。这里，$sp（i）=S_{sup}(i)\cup S_{drop}(i)$是yi的所有积极实例集。$S_{sup}（i）=\{s_p:p\ne i,p=1\dots N，y_p=y_i\}$表示监督对比设置中的积极因素，$S_{drop}(i)=\left\{s_i^{\prime }\right\}$是由漏失噪声构建的对应因素。
  最后，总体训练目标结合了传统的NMT目标$L_{MT}$和token级对比目标$L_{TCL}$：
  $$L=L_{MT}+\lambda L_{TCL}$$
• FCL的目标可以表示为$$L_{FCL}=-\frac{1}{N}\sum _{i=1}^N\sum _{s_p\in S_p(i)}\log \frac{e^{\mathrm{sim}\left(s_i\cdot s_p\right)}}{{\sum }_{j=1}^{N}w(i,j)e^{\mathrm{sim}\left(s_i\cdot s_j\right)}}$$
  其中$w(i,j)$根据锚点yi和负样本$y_j$的频率是一个软权重:
  $$\begin{gathered} w(i,j)=\gamma f\left(y_i\right)f\left(y_j\right) \\ f\left(y_i\right)=1-\frac{\log \left(\mathrm{Count}\left(y_i\right)\right)}{{\max }_{j=1\dots N}\log \left(\mathrm{Count}\left(y_j\right)\right)} \end{gathered}$$
  其中，$f(y_i）$和$f(y_j)$分别为$y_i$和$y_j$的个体频率得分。$\gamma$是$w(i，j)$的一个比例因子。$count(y_i)$表示训练集中$yi$的单词计数。锚点$y_i$的所有负值的频率感知权值的平均值被归一化为1。
  最后，总体训练目标结合了传统的NMT目标$L_{MT}$和频率感知对比目标$L_{FCL}$：
  $$L=L_{MT}+\lambda L_{FCL}$$

实验结果
1.下图是作者在 NIST Zh-En 和 WMT14 En-De 实验的主要结果。可以看出使用 TCL 和 FCL 都在各方面上有了显著提升。

2.低频标记对翻译质量的影响,不同方法在 “High”, “Middle”, “Low”三个子集上的BLEU得分：

3.词汇多样性
统计了基于NIST测试集上的翻译结果的三个词汇多样性度量

4.对token级别预测的影响

5.对表示学习的影响