汉英口语存在的问题及对策

        最近看了看IWSLT2008,IWSLT2010的相关文章,总体上的感觉就是大家的做法大同小异。通用的做法都是拿几个系统过来做个系统融合,在调调参数,完成,OK。但在前处理后处理的做法上各家单位就是“八仙过海,各显神通”了。我想想也是这样,主体方法测评的差距不大,什么唬人的模型拿到现在中用BLEU差别并不太大。但如果处理好细节问题,完全可以在最终的性能上PK掉其他的单位。这也就是所谓的“细节决定成败”吧。

        目前,口语翻译存在的两个大问题。

        第一个问题就是语料库规模不大。比起新闻语料,口语语料规模还是太小了。这就导致一个问题,在词对齐效果上不是很好。这样一来再牛的模型也表现不佳。有的单位针对词对齐效果不佳方面做改进,选用几个不同的词对齐工具进行交(并)集融合,或者使用投票机制,对齐出现多的进行使用(比如使用三个对齐工具,有个对齐在两个工具中出现,就选用这个对齐)。有的单位有策略添加语料,直接添加其他语料,会对一些口语中特殊表达的词或者短语翻译产生影响。可以在添加语料时候,选择和口语相关的句子进行添加,其他的句子抛弃。

       第二个问题是口语中的一些特殊表达。首先是对中文的数词时间表达式,需要使用启发规则进行处理。其次,分词需要考虑口语的特性进行改进。最后就行句型的处理,疑问句由于调序距离较长比较难翻译。对句型的处理上,自动化所提出的一个分类的方法进行处理,他讲句型分为三类:特殊疑问句(中文翻译为以wh-开头的疑问句),一般疑问句和非疑问句。使用句子中的词作为特征训练SVM分类器,对句子进行分类。然后,对每个不同的句型,使用启发式规则识别出其中需要调序的部分。最后,针对不同的句型,对需要调序部分进行特定的调序。

        有的单位也去做些领域自适应的工作,或者添加语言模型。这一块在08,10年的工作中没有涉及。就不罗列了。

        啰嗦这么多,就是为了mark一下,以备来日查询。

你可能感兴趣的:(工作,语言,工具,2010)