Vocabulary Learning via Optimal Transport for Neural Machine Translation论文解读
abstracttokenvocabulary的选择对机器翻译结果的影响比较大本文研究什么样才是好的词表,并且能不能不通过训练直接找到最优的词表首先提供一种从信息理论的角度来分析词表的作用通过optimaltransport的思路来找到最佳token词典,并且有一个合适的词表大小,不用训练降低70%的词表大小,取得0.5bleu提升相对于BPE-search,搜索时间从384gpu->30gpu,