Quality-Estimation1 (翻译质量评价-复现 WMT2018 阿里论文结果)

简介

翻译质量评价(Quality Estimation,QE)是机器翻译领域中的一个子任务,大致可分为 Sentence-level QE,Word-level QE,Phrase-level QE,详情可参考WMT(workshop machine translation)比赛官网 http://www.statmt.org/wmt17/quality-estimation-task.html 。 本项目针对 Sentence-level QE,试图复现论文 “Bilingual Expert” Can Find Translation Errors 的实验结果。 上述论文的开源代码如下:https://github.com/lovecambi/qebrain ,本人受服务器驱动限制,装不了高版本的tensorflow, 基于transformer开源代码 https://github.com/Kyubyong/transformer 重写了论文中的专家模型和qe模型。 由于 wmt18-qe 的测试集标签没有公布,本项目仅在 wmt17-qe 数据集上进行实验。

实验环境

python3
tensorflow == 1.2.0

实验步骤

代码见github : https://github.com/xlniu/Quality-Estimation1

1、准备数据
用于训练专家模型的数据,其数据来源是 WMT17 Translation task、WMT17 qe task中sentence-level task中训练集的数据(src+pe)。数据统计信息见下表:

Dataset Sentences
Europarl v7 1,920,209
Common Crawl corpus 2,399,123
News Commentary v12 268,328
Rapid corpus of EU press releases 1,314,689
UFAL Medical Corpus 2,660,314
Khresmoi development data 500
Sentence-level QE en-de smt 23,000
Sentence-level QE de-en smt 25,000
total 8,611,163
filter 8,449,133

注:过滤后的数据总量为8,449,133

2、数据预处理
tokenize(./preprocess/token.sh);
lower(./preprocess/lower.sh);
filter(./preprocess/data_filter_merge.ipynb, we filtered the source and target sentence with length <= 70 and the length ratio between 1/3 to 3);
merge(./preprocess/data_filter_merge.ipynb,将所有数据集按照语言分别合并);

3、词表生成
分别生成源端和目标端的词表,生成后的词表按照词频排序,代码见:./prepro.py,运行代码前要先设置词表大小;

4、预训练专家模型
设置exp_hyperparams.py中的参数,运行expert_model.py;

5、联合训练专家模型和qe模型
设置qe_hyperparams.py中的参数,运行qe_model.py;
使用 Sentence-level QE en-de smt 训练en-de模型,使用 Sentence-level QE de-en smt 训练de-en模型;

实验结果

Data Pearson’s vocab_size batch steps
test 2017 en-de 0.5974 30k 128 500k
state of the art(Single) 0.6837 120k - -
test 2017 de-en 0.6745 30k 128 410k
state of the art(Single) 0.7099 120k - -

注:
1、state of the art 参考论文:“Bilingual Expert” Can Find Translation Errors ;
2、表中的batch和steps都是说的训练专家模型的情况,steps指训练了多少步(每一步是一个batch);
3、从我的观察来看,基本上是专家模型被训练的steps越多,后续再联合训练qe模型而得到的结果就越好,但是随着专家模型被训练步数的不断增多(比如达到350k以上),最终的结果会出现波动;
4、训练专家模型和联合训练qe模型的日志文件都放在了 ./nohup 文件夹下;

你可能感兴趣的:(自然语言处理)