李航：深度学习还局限在复杂的模式识别上

转载自：http://www.csdn.net/article/2015-07-03/2825125

华为技术有限公司诺亚方舟实验室主任李航认为，机器学习、数据挖掘和人工智能的研究，对华为未来的智能通信网络、智能企业管理、智能信息助手三个应用方向很有帮助，比如机器学习对SDN的控制能力、网络优化、人机交互、跨国交流等，都可以发挥很大的作用。

诺亚方舟实验室已经将采用深度学习（DL）提升自然语言处理（NLP）的能力（DL4NLP）作为一个研究重点，包括自然语言对话（包括知识问答）、机器翻译和图片搜索，实现以往的自然语言处理技术无法达到的效果。

李航认为，深度学习时代的到来是统计学习发展的必然趋势，今后若干年里深度学习还将是研究的热点，会有很多新技术开发出来，利用深度学习的应用也会有革命性的进步。尽管深度学习目前还停留在“复杂的模式识别（pattern recognition）”层面上，但它仍是最有效的方法，会极大推动人工智能的进步。

“如果把实现人工智能的理想比喻为登月，那么有些方法看起来好像是在爬树、在登山，基本不可行，而深度学习的方法好像是在做火箭，它至少能把我们带出地球大气圈，虽然可能还不能达到登月的目的。”他说。

李航还透露，诺亚方舟实验室在开发一个GPU、CPU与FPGA的异构深度学习平台。详情敬请期待后续报道。

李航采访实录

CSDN：诺亚实验室目前在ML/DL领域主要有哪些研究方向？具体的应用场景是什么？

李航：诺亚方舟实验室的研究领域是机器学习、数据挖掘、人工智能。我们特别聚焦在几大研究方向，包括深度学习、强化学习、流数据挖掘、图数据挖掘、时空数据挖掘、语音和语言处理、信息与知识管理。

我们的研究由三大应用牵引：智能通信网络、智能企业管理、智能信息助手，目标是为华为的未来发展做出重大贡献。华为的主要产品是通信设备、数据中心、智能手机；我们坚信大数据分析、人工智能能够使这些产品更加智能化，为用户提供全新的、更好的体验，实现跨越式的发展和进步。

智能通信网络包括SDN、网络规划与网络优化、网络维护三方面。SDN（Software Defined Networks）是未来网络的发展方向，其基本想法是将通信网络中的软件硬件剥离，将网络当作一个巨大的计算机来运行；用数据驱动、机器学习的方法帮助提升SDN的控制能力是很自然的选择，会极大提升网络的性能与效率。通信网络也看作是一个超大的图（graph），当中有大量数据在流动，怎样对网络的性能进行规划和优化是网络建设中的大问题；而数据驱动、机器学习的方法会帮助做出最优的选择。通信网络需要许多工程师维护，保证线路的畅通与高质量的通信实施，如何帮助工程师们迅速排除网络故障是通信领域的一个大问题；机器学习、人工智能技术可以帮助工程师做网络质量的预测，故障的自动诊断及自动排除。

智能企业管理也是个重要方向。对每个企业来说，客户、产品、员工都是其宝贵财富，而围绕着这些实体现在有大量的数据积累下来，如何利用这些大数据，做有效的客户关系管理、供应链管理、人力资源管理，对每个企业来说都是至关重要的，因为可以极大地提升企业的效益，企业的竞争力。从另一个角度看，企业中的知识、信息在运营中也以大数据的形式积累下来，包括结构化的数据和非结构化的数据，对每个企业来说这都是宝贵的资源，如何有效地利用这些信息与知识，挖掘更多的知识，构成了一个巨大的挑战，也提供了一个巨大的机会。还有，帮助员工之间、客户与企业之间提高交流的效率，继而提高企业的效益与竞争力，也是一个重要的问题，如像在华为这样的跨国公司，需要帮助员工克服语言障碍进行顺畅的交流。数据挖掘、机器学习等是帮助解决所有这些问题的最佳手段。

我们预见智能手机将会成为我们每个人的智能信息助手，提供信息推荐、信息抽取、信息管理、信息检索与问答、机器翻译、自然语言对话等几方面的功能。我们处在信息爆炸的时代，信息助手可以将外部的信息进行过滤把最有用的信息推荐给用户；用户与不同的人、物进行交流，信息助手可以将这其中的重要信息进行抽取；个人的信息也处于泛滥状态，如有大量的照片，信息助手可以帮助用户有效地管理个人信息；用户时常会遇到问题，信息助手可以帮助解答问题，访问信息；地球变得越来越小，用户需要与讲各种语言的人进行交流，信息助手可以给用户做翻译，克服语言障碍；作为一个贴心的“伙伴”，信息助手可以自如地用自然语言与用户交流。毫无疑问，智能信息助手需要先进的机器学习、人工智能技术构建。

CSDN：诺亚方舟实验室用DL做机器翻译获得了不错的效果，您认为其中的决定性因素是什么？您如何看到DL在NLP方面的潜力，是否会完全取代传统算法？

李航：用深度学习提高自然语言处理的能力是我们深度学习研究的一个重点，我们称之为Deep Learning for Natural Language Processing（DL4NLP），最近取得了不少的成果，可以说在业界处于领先地位。在DL4NLP中，我们主要考虑三个应用，自然语言对话（包括知识问答）、机器翻译、图片搜索。这里我想介绍一下前两个。

深度学习最近三、四年有了长足的发展，“深度强化学习”、“神经图灵机”等许多新的概念被提出。深度学习已不局限于模式识别，如图像识别、语音识别等，事实上已扩展到语言处理、知识利用、逻辑推理、自动控制等其他任务上。特别是基于深度学习的自然语言处理是当前深度学习研究的一个热点，诺亚实验室也希望自己在这方面做出重大贡献。

我们应该是用深度学习做自然语言对话最早的团队。自然语言对话包括单轮与多轮的，方法分基于检索的和基于生成的；可以认为，传统的自动问答系统属于单轮的、基于检索的特殊对话系统。我们在NTCIR组织了一个比赛，聚焦在中文、日文的单轮对话上，大家感兴趣的话可以参加。

我们用深度学习开发了几个模型做自然语言对话，包括单轮和多轮的，检索和生成的。这里介绍一下将在今年的自然语言处理顶会ACL发表的一篇论文。这个工作中我们开发了神经应答机（Neural Responding Machine），是一个单轮的对话系统，基于RNN(Recurrent Neural Network)模型，用编码器将问句转换成中间表示，再用解码器将中间表示转换成回答。用500万对话数据训练的该系统可以达到非常好的对话效果，自然回答的比率占70%以上。比如你说：“我想买一部三星手机”，系统回答：“还是支持一下国产的吧”。注意系统的回答是它看了许多对话的例子后自动生成的，而不是延用对话数据中已有的回答。系统能达到这种“智能”水平，确实让人惊叹。纯粹用数据驱动的方法建立起对话系统，以往的自然语言处理技术基本做不到，可以说深度学习给自然语言对话带来的技术进步是革命性的。

机器翻译经历了基于规则的和基于统计模型的两代技术，大家现在努力尝试用深度学习提高翻译的精度。有两种想法，一个是将深度模型集成到已有的统计翻译模型的框架中，比如BBN公司提出的方法就属于这类。另一个是彻底推翻传统的统计翻译模型，完全使用深度学习进行机器翻译，实现下一代技术。大家现在关心的是后者是否可以真正成为现实；事实上，在这方面谷歌、蒙特利尔大学各自提出了不同的模型，取得了重大的进展，受到广泛关注。

诺亚实验室在机器翻译方面的研究，采用两路齐头并进的策略，因为有许多问题需要探索，一方面研究完全基于深度学习的方法，另一方面也研究深度学习与传统模型融合的方法。我们也在与计算所、哈工大深研院合作。你提到的我们的机器翻译工作，都属于后者，有两篇今年的ACL论文。其中我们利用CNN（Convolutional Neural Network）改进了统计翻译模型中的翻译模型、语言模型，BLEU分数整体有两个点的提高，翻译模型胜过BBN模型。我们还在探索到底什么样的方法能对机器翻译带来巨大的进步。细节大家可以参照相关的CSDN报道。

我们目前为止的DL4NLP的工作，重点放在了句子的语义表示学习上，考虑用CNN或RNN模型在对话、翻译等问题中的应用。我们提出了一系列的模型，这些模型，以及业界已有的模型，到底在什么条件下工作得更好，还需要今后的研究去验证。我们DL4NLP的研究，今后会朝几个方向推动，考虑的还是以上的应用，但会把方法做得更深入，具体地关注以下问题：更复杂的深度模型（如多轮对话模型），深度模型与知识的融合，外部记忆的增强，深度学习与推理的结合等等。这些方向还有许多有意思的问题值得去探索。

CSDN：能否介绍诺亚搭建深度学习系统的过程，采用了哪些工具？为什么如此选择？

李航：诺亚实验室深度学习的研究主要是用GPU集群。我们也在开发一个深度学习的平台，是一个GPU、CPU与FPGA的异构平台。关于我们的深度学习平台，我们近期会有一些详细介绍。

CSDN：您在之前的访谈中谈到ML还需要提高学习能力，做到触类旁通、无师自通，您认为目前的挑战在哪里？技术路线上应当如何一步一步地实现这种能力？

李航：统计学习是现在机器学习的主流，大家也看到了它在许许多多应用中的成功案例。特别是现在处于大数据时代，又赶上人工智能的热潮，大家对机器学习技术的期待达到了空前的高度。但是我们应该清楚地认识到统计学习比起人的学习能力还有很多局限。比如，人的举一反三、触类旁通、无师自通的学习能力是现在的统计学习所远远不能达到的。当然，统计学习也有一些人不具备的学习能力，如大规模计算（对应着思考）、大规模存储（对应着记忆）。

深度学习其实是统计学习的一部分，或者说一个分支，其特点是复杂模型（复杂神经网络）的统计学习。深度学习时代的到来这也可以说是统计学习发展的必然趋势，因为现在数据更多了，计算机能力更强了，简单的问题用简单的方法已解决得差不多了。可以预见今后若干年里深度学习还将是研究的热点，会有很多新技术开发出来，利用深度学习的应用也会有革命性的进步。

但是，我们也应该看到，深度学习，至少是目前为止的深度学习，还是停留在“复杂的模式识别（pattern recognition）”层面上，我们有时感到它很智能，如上述的自然语言对话，但是它还只是总结并记忆住了复杂的模式，给出看似非常智能的结果。虽然我们上面说到，深度学习已扩展到推理、控制等任务，但目前为止的方法也还是局限在复杂模式识别的范围内。只是它学到的模式太复杂了，已超出了我们直观想象范围，我们感到很了不起。

Hinton、LeCun、Bengio三人最近在Science杂志上发表了题为“Deep Learning”的论文，他们预见非监督学习、语言处理、逻辑推理将是深度学习的重要发展方向。CSDN上也刊登了译文，大家可以参考。

今后的机器学习、深度学习会发展到什么水平，我们现在还看不太清楚，但有一点我们是深信不疑的，那就是它会极大地推动人工智能的进步。沿着这条路到底能走多远，是我们想知道的，也是让我们感到兴奋的。如果把实现人工智能的理想比喻为登月，那么有些方法看起来好像是在爬树、在登山，基本不可行，而深度学习的方法好像是在做火箭，它至少能把我们带出地球大气圈，虽然可能还不能达到登月的目的。

CSDN：对于机器学习的入门和进阶，您有哪些好的建议？

李航：机器学习的本质是“数学化的数据学”。所以，对机器学习技术的掌握，首先需要有好的数学基础，拥有足够的概率统计、计算理论、信息理论的知识；其次需要对数据处理有丰富的经验，经历足够多的开发、实验、观察。因为机器学习涉及的面非常广，所以需要一步一步地积累，不断地学习与钻研，这对初学者与专业人员都是一样的。我也是在这样鞭策自己。

机器学习的入门教材，我觉得最好的是Andrew Ng的机器学习讲座，他讲得确实很好，把重要的、基本的概念全部覆盖了，而且内容准确与清晰。中文的教材，据说周志华老师将出版一本入门的书，大家可以期待。

我写的《统计学习方法》并不是针对初学者的，目的是把最基本最核心的概念整理出来，让大家可以随时学习、参考，特别是对做应用的人。是工具书的定位，对有一定基础的人来说，可以成为入门书，但不适合所有人。

我自己经常参考的，统计学方面Hastie、Tibshirani 、Friedman的书，机器学习方面Bishop的书，信息理论是Cover与Thomas的书，都是领域的权威。机器学习领域太广，不太可能有一本书满足所有人的需求，大家可以根据自己的情况，有选择地学习。另外，现在网上有大量的学习资料，论文、书籍、代码、讲座、博客，大家都可以去有效地利用。

李航

华为技术有限公司诺亚方舟实验室主任，北京大学、南京大学兼职教授

日本京都大学电气电子工程系毕业，日本东京大学获得计算机科学博士学位。曾就职于日本NEC公司中央研究所，任研究员，以及微软亚洲研究院，任高级研究员与主任研究员。李航博士的研究方向包括信息检索，自然语言处理，统计机器学习，及数据挖掘。一直活跃在相关学术领域，曽出版过三部学术专著，并在顶级国际学术会议和国际学术期刊上发表过上百篇学术论文，拥有40项授权美国专利。