IWSLT 2017

IWSLT 2017

介绍

三个官方任务：

多语种文本翻译    multiligual text translation of TED talks（zero-shot）

对话的文本翻译text translation of dialogues

语音识别ASR

非官方任务：

双语种翻译

允许训练数据

机器翻译系统：

参与者可以使用任何其他语言资源，只要它不包括这些TED谈话; 任何使用组织者明确列出的额外数据都必须在系统文件中明确说明，并在提交文件中进行沟通：这些将被标记为不受约束的训练

Multilingual Task

多语种任务在文本翻译方向上包括zero-shot，即使用一个翻译系统翻译所有的方向包括英语，德语，荷兰语，意大利语和罗马尼亚语，作为非官方的任务，传统的英文和阿拉伯文，法文，日文，中文，德文和韩文的双语文本翻译。

语言方向

多语种任务（官方）：{

    英文，荷兰文，德文，意大利文，罗马尼亚文 }（任何一对）

双语任务（非官方）：英文 < - > { 阿拉伯文，法文，日文，中文，德文，韩文}

评测阿拉伯文，日文，韩文和中文的规则处理：

阿拉伯语：阿拉伯语文本需要在得分前归一化。我们将通过可下载的QCRI阿拉伯语标准化程序3.0来处理参考和提交的运行：http://alt.qcri.org/tools/arabic-nor

日语：通过下面的方式处理：

http://ntcir.nii.ac.jp/PatentMT-2/AutomaticEvaluationProcedure/

Mecab version0.996

Dictionary forMecab: mecab-ipadic-2.7.0-20070801.tar.gz

[if !supportLists]·        [endif]韩文：韩文文本也通过Mecab处理：朝鲜的Mecab，版本0.996

[if !supportLists]·        [endif]中文：中文文本在字符级别进行评估; 在评估之前，文本是通过这个脚本来处理的， 这个脚本分割了汉字的序列，但是保留了非汉字的序列

多语言任务的评估条件

Small data：允许的数据只是域内的训练和开发集数据

Zero-shot：与small

    data条件相同，但有以下附加限制

训练集和开发集排除      nl-de，de-nl，it-ro和ro-it方向

从其他语种合成的语料可以作为对比条件

Large data：除了域内数据，这里列出的任何语言资源都可以用来建立MT系统

域内训练集和开发集

Multilingual Task:an archive with training/dev

    sets for any language pair can be downloaded from the WIT3 website

Bilingual Task:archives for

    each language pair can be downloaded from the WIT3 website

评估数据

输入格式：NIST XML格式，带标点的区分大小写的源文本

输出格式：NIST

    XML格式，带标点符号的区分大小写的翻译

文本编码：UTF8

多语种任务：tst2017将包括英语，德语，荷兰语，意大利语和罗马尼亚语的TED会谈，必须从同一组语言翻译成任何不同的语言（共20对）

评估过程

区分大小写的BLEU和NIST分数是使用NIST脚本mteval-v13a.pl计算的，而区分大小写的TER分数则使用tercom.7.25.jar

两个分数一起使用

在线评估服务器可用于对开发集上的系统进行评分