Facebook MUSE 无监督跨语言迁移学习任务

本文基于Facebook 2018-ICLR的文章：WORD TRANSLATION WITHOUT PARALLEL DATA

文本中提出了无监督的跨语言词对齐MUSE框架

---

• 研究背景
• 前人的解决方式
• 模型核心思想
• 具体实现细节

---

研究背景

TODO

前人的解决方式

TODO

模型核心思想

这篇文章提出了一种无监督的双语单词对齐的方法，主题思想是用一个线性的映射矩阵W将源语言的embedding投影到目标语言中。大致思路是先用对抗学习的思路学得一个大致的映射矩阵W（大致的意思是 在高频词上映射矩阵的准确率是不错的，但是低频词上表现不好），因此，我们需要对其进行优化。
优化的方式是通过选取一些高频词，以及它在目标语言中的“最近邻”的词，形成高质量的双语语料。从而进行精调（原文为Refine）。

总体思路

具体实现细节

1. 对抗训练获得粗粒度的映射矩阵W
   对抗训练的方法来源于GAN，即generator和discriminator两个组件分别负责混淆和辨别任务。具体来说就是训练一个discriminator来区分WX和Y，这个discriminator的目标函数是最小化

   
   
   loss of discriminator
   
   

   generator（即M）目标是尽可能欺骗discriminator，使之不能区分出一个representation是直接从Y中采样得来的，还是从X采样然后映射得来的：

   
   
   loss of generator

2.Refine细节
获得粗粒度的映射矩阵W后，我个人的理解是：在高频词的映射上准确率是不错的，但是低频词上表现不好。因此我们对映射矩阵W进行精调（refine）。

W矩阵的计算

首先对于W矩阵的计算，这实际上是一个Procrustes问题。我们进行奇异值分解得到一个近似值。（详情可查奇异值分解降维）

考虑到一些低频词汇词向量可能学得不充分，作者选取了一些高频词，以及它在另一种语言中的“最近邻”的词，形成高质量的双语语料。从而获得精调后的W。

3.最近邻词的选择度量
最基本的想法是直接计算cosine相似度来选取最近邻词。但这会导致hubness现象：有些词(称为hubness)是很多词的最近邻点，而有些词（anti-hubness）却不是任何点的最近邻点。为了惩罚这些hubness，作者定义了如下CSLS距离：

其中

rT表示Wx在目标语言最相近的K个词的cos相似度的平均值，rS代表y在源语言最相近的K个词的cos相似度的平均值。

PS：部分资料参考