机器翻译相关技术note

机器翻译和数据集

机器翻译（MT）：将一段文本从一种语言自动翻译为另一种语言，用神经网络解决这个问题通常称为神经机器翻译（NMT）。 主要特征：输出是单词序列而不是单个单词。 输出序列的长度可能与源序列的长度不同。

目前最重要的两种机器翻译方式：规则法和统计法

1. 规则法（rule based machine translation, RBMT），依据语言规则对文本进行分析，再借助计算机程序进行翻译。多数商用机器翻译系统采用规则法。

规则法机器翻译系统的运作通过三个连续的阶段实现：分析，转换，生成，根据三个阶段的复杂性分为三级。

- 直接翻译：简单的词到词的翻译。

- 转换翻译：翻译过程要参考并兼顾到原文的词法、句法和语义信息。因为信息来源范围过于宽泛，语法规则过多且相互之间存在矛盾和冲突，转换翻译较为复杂且易出错。

- 国际语翻译：迄今为止，还只是设想。大概是想凭借通用的完全不依赖语言的形式，实现对语言信息的解码。

2. 统计法 （statistical machine translation, SMT），通过对大量的平行语料进行统计分析，构建统计翻译模型（词汇、比对或是语言模式），进而使用此模型进行翻译，一般会选取统计中出现概率最高的词条作为翻译，概率算法依据贝叶斯定理。假设要把一个英语句子A翻译成汉语，所有汉语句子B，都是A的可能或是非可能的潜在翻译。Pr(A)是类似A表达出现的概率，Pr（B|A）是A翻译成B出现的概率。找到两个参数的最大值，就能缩小句子及其对应翻译检索的范围，从而找出最合适的翻译。

SMT根据文本分析程度级别的不同分为两种：基于词的SMT和基于短语的SMT，后一个是目前普遍使用的，Google用的就是这种。翻译文本被自动分为固定长度的词语序列，再对各词语序列在语料库里进行统计分析，以查找到出现对应概率最高的翻译。