特稿 | 巨头扎堆的小市场:不学外语,机器翻译搞定一切?

jpeg?wxfrom=5&wx_lazy=1

本文系网易新闻-智能工作室出品

聚焦AI,读懂下一个大时代!

png?wxfrom=5&wx_lazy=1 特稿 | 巨头扎堆的小市场:不学外语,机器翻译搞定一切?_第1张图片 png?wxfrom=5&wx_lazy=1

编者按:2016年的一部《翻译官》火了,这是国内首部聚焦翻译领域的电视剧,让人们对于翻译行业尤其是同声传译,有了新的认识。但是同时,随处可见的翻译机广告充斥着整个社会:“有了它,妈妈再也不用担心我出国不会说英语了”,“用超过100种语言探索世界”,如此等等。


理论上讲,对于那些要想出国旅游的人来说,这未尝不是一件好事,因为有了它们就不需要担心因为语言不通而造成的囧途尴尬了,从心理学的角度上来讲,智能翻译的出现带来的是身处异国他乡也能感受到的安全感。


但是,翻译机真的能解决很多人英语不够用的困境吗?面对商业应用,针对需要大量专业术语的国际会议,这些智能的机器翻译是否还会奏效?另一方面,随着智能翻译的兴起,越来越多语言专业的学生和翻译行业的工作人士抱怨,神经网络翻译等技术的出现,让原本就竞争激烈的翻译市场迅速进入了冰冻期。但是,未来机器翻译真的会完全取代人类,让翻译员们下岗吗?


网易智能梳理了目前主流的机器翻译技术与应用,一探智机器翻译行业究竟。


抹茶 | 文

神经网络翻译(NMT)的前世今生


20世纪初期,多位科学家与发明家陆续提出机器翻译的理论与实作计划或想法。但真正的机器翻译研究要追溯到20世纪三四十年代。1949年,W. Weaver发表《翻译备忘录》,第一次正式提出机器翻译的思想,到传统的基于短语的机器翻译(PBMT:Phrase-Based Machine Translation),再到当今基于递归神经网络(RNN:recurrent neural network)技术的神经网络翻译(NMT:Neural Machine Translation)的各种翻译机和翻译软件的出现。


随着人工智能的发展,一改传统机器翻译的格局,随着LSTM、RNN等技术的加入,新时期机器翻译在翻译质量上最大的变革就是从PBMT到NMT的转变,而其中,谷歌神经机器翻译(GNMT:Google Neural Machine Translation)系统实现了到目前为止机器翻译质量的最大提升。


不得不提,在机器翻译进化史中,最具里程碑式的突破之一就是谷歌翻译在2016年推出的神经网络翻译(GNMT),相比于谷歌之前基于短语的机器翻译(PBMT: Phrase-Based Machine Translation),GNMT所需要设计的工程量更少,同时翻译效果更好,可见GNMT 的技术将把机器翻译带到一个全新的纪元。而所谓的先进之处,在于翻译逻辑模仿了人脑的表达模式,通俗地讲,实现了把一句话中所有词汇的语意融合在一起进行综合理解与分析。而传统的机器翻译是逐个识别和理解词汇,从而无法达到理解不同词汇融合后产生的含义。


近几年来,“神经网络机器翻译技术”成为人工智能翻译主流。该技术通过“端到端”的方法将翻译平行语料进行映射,以“编码器—注意力机制—解码器”的结构,解决翻译问题。

在使用人类对比评分指标时,相较于之前也实现了极大的提高,在多个样本的翻译中,神经翻译系统将误差降低了55%-85%,甚至更高,在某些语言对上可以说接近了人工翻译的水平。

特稿 | 巨头扎堆的小市场:不学外语,机器翻译搞定一切?_第2张图片

图:技术进步带来翻译质量的提升


为何NMT如此受欢迎?过去的 PBMT的翻译单位是词组,其中最让人头疼的地方在于句子的语序问题,英译中主要存在的问题是词序问题。之前 PBMT是先把句子分成一个个短语和单词,然后独立翻译,最后对翻译出来的独立短语解释进行逻辑整理,变成句子。但是鉴于中文和英文隶属于不同的语言体系,其语序排列等表达方式上存在着巨大的差异,因而面对单个翻译再调整语序的系统,就会变得异常繁琐复杂而且容易出错。


而 NMT的翻译单位则是句子,它将整个句子视作翻译单元,对句子中的每一部分进行带有逻辑的关联翻译,翻译每一个字或单词时都包含着整句话的逻辑。


特稿 | 巨头扎堆的小市场:不学外语,机器翻译搞定一切?_第3张图片

图为PBMT、GNMT和人工翻译的同一段话的中译英对比


由此可见,神经网络相较于传统机器翻译技术是一种革命性的改变。如果说基于短语的统计机器翻译(PBMT)是一种拼图过程,通过对短语对的排列和组合,尝试找出较好的翻译选项,但整个决策过程是离散的、其中涉及的决策信息也都是局部的。那么,神经网络机器学习则反其道而行,更具有整体性,使整个决策过程既是连续的也是全面的。


但是在性能和翻译速度上,PBMT也有GNMT所不能比的优势。在这两个方面,GNMT还有待改进。


机器翻译的繁荣景象与各家产品对比


在机器替代人类劳动力的征途里,翻译界无疑首当其冲。机器翻译技术很早就存在,但真正的实现大规模产品化,是出现在谷歌发布翻译产品之后的半年中,谷歌、微软、有道、科大讯飞、百度、搜狗等均上线或更新了翻译产品,各大厂商都想在这个备受关注的机器翻译领域里分得一杯羹。

png 特稿 | 巨头扎堆的小市场:不学外语,机器翻译搞定一切?_第4张图片 png

你可能会觉得奇怪,为何大型技术公司都热衷于扎堆做机器翻译?事实上,无论对于上述哪家公司,翻译相较于其他技术,都不是块有极大商业空间和发展的业务。但在现有的AI技术中,机器翻译的成熟度是相对较高的。所以即便是出于炫技的目的,翻译也必然会成为兵家必争之地。但说到底,对公司而言,真正能衍生出商业模式、实现商业落地、有利可图的技术才是真正有价值的。

png 特稿 | 巨头扎堆的小市场:不学外语,机器翻译搞定一切?_第5张图片 png

| 谷歌翻译(Google翻译)


提到谷歌翻译,也许很多人并不知道,在中国是可以使用谷歌翻译的。


据悉,谷歌翻译早在2006年就已经推出,对此,谷歌翻译研发科学家高勤曾表示,全球仅20%的人能看懂英文,所以谷歌翻译能支持100种语言翻译。目前,谷歌翻译支持手机摄像头识别即时翻译,手机麦克风和扬声器即时对话翻译,离线翻译等等。


谷歌神经网络翻译可以把一整句话作为翻译单元,翻译每一个字词时都会考虑到前面已有的所有字词含义。除此之外,谷歌已将目光投向多语言模型,即用同一套神经网络学习多种语言的互相翻译,无需通过英语中转就可以实现两者非英语语言的翻译,这为未来构建统一翻译模型提供了可能性。但是,零数据翻译必须要体现在翻译多个语言对,而且它们之间要有相关性的时候才能发挥作用。


特稿 | 巨头扎堆的小市场:不学外语,机器翻译搞定一切?_第6张图片

图:谷歌神经网络翻译工作原理


虽然 GNMT 在机器翻译领域里已经可以算是最先进的技术,但是其存在的缺陷还远未得到完全解决,尽管现在 GNMT 已经可以将句子作为翻译单元,在翻译时考虑整个句子中每个字的前后关联,但 GNMT 将句子单独进行翻译时还是无法考虑到其段落或页面的上下文的关系。


另外,鉴于机器没有和人类一样的思维逻辑和推理能力,GNMT 仍然会做出一些人类翻译者不会犯的奇怪错误,例如漏词或者错误翻译专有名词或罕见术语。而这些错误的出现往往是因为训练数据里的缺陷,或者语料库不够完善导致。


对于GNMT 是否已经到达了机器翻译的极限,Google Brain 的软件工程师陈智峰曾表示,现有的深度学习 RNN 模型还有很多可开发的空间,例如让模型变得更大或者层数增加,同时在该领域每年也都有新的模型出现,深度学习的模型也会不断迭代,所以 GNMT 目前的技术还远未到极限,更加不会是机器翻译的极限。


| 微软翻译


有网友称微软是家让人搞不懂的公司:为什么搞不好系统里的中文,却开发了最好的翻译软件。一方面在Windows操作系统的中文翻译让人贻笑大方,同时却又开发出了一个几乎在所有移动设备上特别好用的翻译软件——微软翻译(Microsoft Translator)。


目前,微软翻译可以在包括中英日韩意法等常用语言在内的50多种语言之间进行翻译,在网络情况良好的情况下,基本可以实现实时翻译且准确度较高。与当下众多语音助手选择女性声音不同,微软翻译的语音输出选用的是男声Microsoft Mike。


不过,谈及微软翻译的技术难题,微软首席语音科学家黄学东曾表示,语义理解是语音交互中最难攻克的问题之一。他指出,这是因为语音理解方面的标记非常少,而且也没有公认的标准,所以要通过非监督式学习来攻克这个困难,但是非监督式学习目前还在探索阶段,亟待突破。另外,人在翻译和学习时会对上下文或前后语境进行关联性理解,而且是基于一定的知识储备的基础上。但机器无法学习知识,也没有理解能力,从而陷入了“鸡和蛋”的问题之中。


| 有道神经网络翻译


有道翻译官是网易公司开发的一款翻译软件,依靠搜索引擎(有道搜索)的后台数据和“网页萃取”技术,从海量网页中提炼出传统词典无法收录的各类新兴词汇和英文缩写,例如影视作品名称、品牌名称等,并能实现实时更新。


对于人工翻译市场的行情,网易有道CEO周枫曾经估算过约有400亿人民币左右。不过,自去年谷歌推出GNMT,市场行情出现了转变。周枫表示:“NMT的突破对于做翻译产品的公司而言,出现得恰逢其时。基于这种技术,每个月翻译质量的进步都是惊人的。”


面对谷歌、微软等强劲的对手,网易有道CEO周枫曾表示,翻译的巨头之争中,翻译质量和用户交互是制胜关键。


对于单个例句的翻译结果准确率不高的问题,周枫认为,一方面是翻译总数据量的原因,另外一方面也因为垂直语料算法没经过专门处理,比如数字、日期、人名就需要专门算法处理,如果依赖总体数据库翻译就会不完全准确。


| 百度翻译


百度翻译在2011年7月上线,2015年5月发布神经网络翻译(NMT)系统,目前支持全球28种热门语言互译,包括中、日、韩、泰、德、法等,覆盖756个翻译方向,例如旅游和口语等。除文本翻译外,百度翻译还推出了网页翻译、离线翻译、语音翻译、拍照翻译等功能。其中的拍照翻译和离线翻译是相较于其他家比较突出的一些特色。“菜单翻译”可实现对准菜单拍照立现翻译结果。


百度翻译最大的特色是除翻译结果外,还提供示例用法与原文配对。示例用法提供的例句能够帮助用户查看更多类似翻译结果或单词的用法,当机器翻译结果不准确或有待改进时,可以通过最佳、最相符搜索结果为用户提供参考和建议,提升翻译效果。


特稿 | 巨头扎堆的小市场:不学外语,机器翻译搞定一切?_第7张图片

图为谷歌、有道、微软、百度、搜狗数字翻译准确度对比


| 讯飞翻译机


以语音识别起家的科大讯飞也推出了自家的基于NMT的智能翻译机——讯飞翻译机(原名晓译翻译机),这是一款中英口语间的即时互译的产品。近期,讯飞翻译机升级了多语言模式,除中英互译外,新增日、韩、法、西班牙语,目前可以实现5国语言与中文互译。


据悉,目前讯飞翻译机能帮助人们在衣食住行等日常生活、出国等场景下处理语言交流的问题,但距离会议同传以及高水平翻译所讲究的“信、达、雅”还存在很大的差距。


讯飞翻译机配备了一个手机APP,支持语音中英语音实时翻译,可以实现显示即时语音识别和面对面翻译功能。另外,讯飞翻译机的一大特色就是对于中国方言的识别能力比较强,但是也仅局限于那些比较像普通话的方言,例如东北话、陕西话、河南话等。


面对智能翻译领域同质化严重的现象,科大讯飞轮值总裁、研究院院长胡郁表示,对于机器翻译,大家的思路还有采用的技术点都是类似的,比如现在用Attention模型——基于注意力的自然语言处理,大家都会用,但差异在对问题定义的方式和提出问题以后找到解的不同的途径,每家的侧重点和亮点也不一样。而对于讯飞翻译的着力点,胡郁曾说,讯飞目前专注于中英之间的语音互译,需要解决两个语种所有的合成识别等一系列的问题。


| 搜狗翻译


一直以来,和其他家打造的多语言互译不同,搜狗翻译聚焦中英互译。前段时间,搜狗翻译APP进行了升级,实现了AI与AR实景技术结合,新增了菜单翻译等功能。


搜狗在2016年捐赠清华大学打造人工智能计算研究院,机器翻译也是天工智能研究院下面的第一个合作项目,双方将联合推进多场景即时对话翻译。谈及机器翻译的模型,现在seq2seq+attention 的模型已经在 NMT 及其他众多 NLP 任务上取得了非常好的效果,目前搜狗的神经网络目前已经做到了5层。


但是,搜狗翻译要想实现对上下文的完全理解和流畅翻译,甚至是想要完全实现包括方言、口音在内的多语音识别,还需要一定的时间。


机器翻译的大规模落地应用还有多远?


面对人工智能时代,智能翻译百花齐放的繁荣盛景中,也出现了严重的同质化现象,为了实现产品的商业化呈现出一片红海态势。例如做语音技术起家的科大讯飞,也开辟了翻译业务,从技术环节到产品销售等完整的生产链的打造,涌现出诸多翻译机产品,但集中产品化不到一年,已然是一片红海态势。


不过,机器翻译这个领域依然是个赢者通吃的小市场。机器翻译的出现的本质是为了快速方便的实现不同语言之间低成本的有效交流。

png 特稿 | 巨头扎堆的小市场:不学外语,机器翻译搞定一切?_第8张图片 png

目前,机器翻译的应用主要集中在以下几个方面:


商业交流,例如商业往来邮件的翻译、简单会议洽谈、外贸买卖等。


旅游交际,例如出国旅游时的菜单翻译、问路提示牌、简单的口语交际等。


新闻编译,例如网易见外翻译机器平台等用于外文网站新闻的翻译等。


游戏组队,诸如星际争霸等国际游戏玩家间的沟通交流等。


影片字幕,比如观看多语种外文电影、电视剧、演讲等。


国际比赛,诸如AI挑战赛等国际大型比赛中的沟通等。


由此可见,目前,机器翻译还是停留在可实现简单沟通交流的层面,而对于那些要求较高的例如书籍翻译、专业性强的高级会议口译等翻译质量要求高的地方,机器翻译还有很长的路要走。


技术方面,和目前火热的智能音箱领域一样,智能翻译也面临着语义理解上的技术壁垒。清华计算机系副教授刘洋曾表示,NMT目前最难的就是语言歧义性问题,这是自然语言处理所最大的挑战。人类语言和机器语言不一样,机器语言要求精准、没有歧义,比如 C+,JAVA。但是自然语言,尤其是口语交互的歧义性很高。另外,神经网络翻译的主要局限还是如何提升自然语言的理解能力,而且面临着很大挑战。


机器翻译掘金路:人机结合的商业模式才是王道


尽管NMT的出现被视为机器翻译时代的重大转折点,让机器翻译的质量出现了质的提升。但NMT取代人工翻译还为时尚早。NMT翻译仍然时不时地会犯一些很傻的错误。实际场合的翻译,尤其是书面翻译和大型重要场合如文学、商务、法律等特定专业化场景下的翻译,对这样的错误容忍度很低。同时,机器翻译对于成语、俗语、俚语等文化色彩词的翻译处理仍存在大量的局限性。


可见,不管是任何语言,翻译软件都是工具,都不会达到100%的精确,因为必须要有人为的干预和选择。

png 特稿 | 巨头扎堆的小市场:不学外语,机器翻译搞定一切?_第9张图片 png

从另一方面看,我们不得不承认,机器翻译的出现消减和降低人工翻译所耗费的成本巨大,实现不同语言之间低成本的有效交流。

技术提升引发的成本下降,往往是掘开商业化缺口的契机。神经网络翻译将机器翻译的准确度提升后,人机结合的商业模式具备了可行性。即由机器先做翻译,人工翻译员做后续的审核和润色。人工需要付出的时间和精力由此缩减了50%,相应的翻译价格也下调了一些。


周枫认为,人机结合的方式,降低了用户的使用成本,会激发出一部分此前被压抑的翻译需求。另一方面,由于精准度提升和移动端翻译的用户习惯的拓展,翻译的需求量也在呈现出明显的增多。


根据周枫的估算, 除却艺术属性的文学领域和对准确性要求非常高的商业合同等领域,三年左右时间,机器翻译会替代包括日常通信、新闻、技术文档、学术文献等90%的人工翻译场景。


机器翻译的准确度确实在逐步提升,逐渐接近人工翻译,但是始终是可模仿,不可超越。所以,机器翻译和所有的人工智能技术一样,它们不能取代人,只会成为人类的助手,是一种工具,帮助人们工作的更好。


(部分资料数据整理自网络)


自动驾驶行业综述:


《自动驾驶行业素描(


《自动驾驶行业素描(


智能音箱行业综述:


《智能音箱抢滩战(上)


《智能音箱抢滩战(下)


AI学科行业综述:


《象牙塔里逐AI》


jpeg

点击阅读原文,观看更多精彩内容

你可能感兴趣的:(特稿 | 巨头扎堆的小市场:不学外语,机器翻译搞定一切?)