【智能商务】今日头条人工智能实验室主任李航：如何构建拥有长期记忆的智能问答系统
AI 科技评论按，2017 年 11 月 25-26 日，中国中文信息学会 2017 学术年会暨理事会在深圳隆重举行。会议第一天，主办方邀请到美国伊利诺伊大学香槟分校（UIUC）计算机系教授翟成祥、中国科学院心理研究所所长傅小兰、京东硅谷研究院主任研究员李维、清华大学医学院生物医学工程系宋森、今日头条人工智能实验室主任李航为大家带来了五场精彩纷呈的特邀报告。关于大会第一天的内容，AI 科技评论之前有详细报导，具体信息请参见《横跨心理学、计算机科学、神经科学，看中国中文信息学会 2017 学术年会如何引起多个领域大碰撞》。
在此次会议上，作为最后一位特邀报告嘉宾，李航研究员带来了主题为《人工智能的未来—记忆、知识与语言》的分享，他此次的分享主要围绕智能问答系统展开，为大家分析了 NLP 所面临的三大挑战、目前值得借鉴的应对方法以及对智能问答系统的展望。关键词如下：长期记忆、神经处理、符号处理。
以下为他的演讲内容，AI 科技评论做了不改变原意的编辑和整理。
构建拥有长期记忆的智能问答系统，是我们现在的愿景
今天非常高兴来到这里，与大家一起从记忆、知识和语言的角度探讨自然语言处理、人工智能在未来发展的趋势。首先我们来看记忆和智能的关系，分析自然语言处理的发展是否可以构建智能化的问答系统。
先来看看记忆对人的智能有多么重要。这里是一个示例，英国有一名叫 Clive Wearing 的音乐家，他现在七十多岁，他在四十多岁时患了脑炎，非常幸运的是他存活下来了，但不幸的是他大脑里的海马体受到了损伤，得病了之后不能再记新的东西。日常的症状如下，他认识自己的太太，但不认识自己的女儿，虽然说话、行动、唱歌、弹钢琴都没问题，但他没有记忆了，只有瞬间意识。大家有兴趣的可以去网上搜关于他的视频看一下。
他太太把他的病总结的非常清楚，能够做简单的思考，但没有记忆。从这个案例中，可以看到记忆对人来说是非常重要的。这里面涉及到一个重要的器官，即大脑中的海马体。这里有一张图，是人体大脑的结构。
下面这幅图是斯坦福的一个脑科学家 Frank Longo 画的大脑的功能模型，他是从记忆的角度看的。大脑的记忆部分首先有感官，来感受到客观的信息，这种感官寄存器能记住外界传来的 1-5s 的信息，如果大脑感兴趣，就会记住大概 18-30s 的内容，如果对这个内容特别感兴趣，就能放到大脑的长期记忆里。
长期记忆的特点是信息的压缩。我们大脑在记忆的过程当中，记新的东西是把已有的链路增强，而不是增加新的脑细胞。
刚才看的是人脑，现在看人工智能系统，比如 AlphaGo、自动驾驶等，其实这些系统都是没有长期记忆的。这些系统里都有一定的模型，通过机器学习的方法事先学好，比如 AlphaGo 在下棋的过程中，调用训练好的模型。现在的人工智能系统，和我一开始提到的那个英国音乐家的案例很像，都属于 moment to moment，没有长期记忆。
日裔科学家 Michio Kaku 对意识的定义如下：系统和外界交互，如果系统的内部状态发生变化，就认为这个系统是有意识的。从他的观点来看，温度计和花都是有意识的。对意识的讨论大家都有不同观点，很难达到共识。从他的定义来说，人工智能系统是有简单意识的，但没有长期记忆。
往下走智能问答系统应该是什么样的呢？畅想 5-10 年后的未来，有可能构建这样的智能系统，在这个系统中，有语言处理模块，包括短期记忆、长期记忆，系统能自己不断去读取数据，能把数据里面的知识做压缩表示，放到长期记忆模块。构建这样的拥有长期记忆的智能问答系统，这是我们现在的愿景。
在这一过程中，面临着歧义性、多样性、模糊性这三个问题
自然语言处理中有个非常重要的想法：把语言的表示映射到计算机内部的表示。有了这个表示，我们认为计算机进行了语言的理解，在学习知识。
这里面有好几个挑战。人类的语言到大脑的语义理解映射是多对多的，会遇到歧义性的问题，即同一个语言表达会有不同的意思。另外会遇到多样性的问题，即不同的语言表达是同一个意思。最后一个问题是从认知的角度来看，语义是非常模糊的。
进一步来分析这三个挑战，下图中是用 claim 的几个例子，可以扩展为不同的意思。即具有多义性。
第二是多样性，比如太阳和地球的距离，有很多种不同的说法。
最后是知识概念的模糊性，比如 bachelor 的概念，它表示单身男子，但是未婚的父亲、假结婚的人等是不是可以定义为单身，大家的观点可能不一样。这与语言的多样性会有一定的关联，我们会对典型的单身男子的概念有个共识。
从这里可以看到自然语言并不好做，在自动问答系统中需要去做一个映射，映射里会面临前面提到的多义性、多样性、知识的模糊性这三大挑战。大家都在朝这样的智能问答系统努力。
未来：神经系统和符号系统的结合
现在考虑的是神经系统和符号系统的结合。
深度学习非常热，特别是在自然语言处理和机器翻译方面给我们带来了很大的进步。虽然它确实很强大，但局限性也很明显：它不能很好地处理符号。在计算机上做语言处理，离不开符号，符号很重要，是语言的本质特点。
在自然语言处理中，深度学习在人的感知领域，比如说图像、语音方面比较成功，所以自然就会想到，能不能用神经符号的处理方法实现我们所说的智能问答系统。这样的智能问答系统，通过把神经处理和符号处理相结合，加上语言处理模块，沿用深度学习的概念，这里面包括编码器、解码器。在表示信息的时候，既有符号表示，又有神经表示，用词向量去表示单词。将符号表示和向量表示组合起来，产生一定的结构，更好地表示知识。
这样的工作业界已经开始在做。比如 2015 年提出的 Nell（Never Ending Language Learning) 系统，这个工作强调让系统看大量文本内容，自动学到知识。这个系统能自动在互联网上爬取数据、处理数据、抽取知识，加入到数据库。
另外一个比较具有代表性的工作是 Percy Liang 在 2016 的研究。首先要有语法，语法通常是人定义的，通过语法产生多个解释；然后要有模型，模型也是事先学好的；再基于上下文选择最有可能的解释，转换为逻辑表达式。在这里，我们的思考是，现在是否能借鉴深度学习的想法，做一个端到端的系统，完全自动学到语言处理的编码器、解码器等。
为什么很多人都关注长期记忆，因为长期记忆确实是现在几乎所有的人工智能系统所不具备的能力。现在也有这方面的研究，比较有名的就是 DeepMind 的 DNC（Differentiable Neural Computers）工作，这个工作也是在关注如何把知识用矩阵的形式存储在长期记忆里。这个系统里提出了三类不同的神经网络，这三种不同的神经网络实际上模仿了老鼠的海马体机理，目前对老鼠的海马体机制已经研究得比较透彻。
大家也知道 Facebook 的 Memory Networks 系统，这个系统可以根据描述做些简单的问答。系统最核心的概念也是长期记忆，想法相对来说是比较传统的深度学习概念，模型的构建全是神经网络在做。
最近的最接近的工作是谷歌 16 年出的 Neural Symbolic Machines 模型，这个想法非常有意思，要做的事情也是问答，训练数据是大量的问句和命令，去学习 Sequence to Sequence 模型，可以执行复杂的计算机命令，找到答案。
华为诺亚方舟实验室在神经符号处理方面的相关工作
下面是我之前在华为诺亚方舟实验室做的两个工作，都是神经符号处理方面的。
第一个是 GenQA。这个工作是这样的，假设你有个知识图谱，这里面含有大量的问答句。我们希望模型能自动学习神经网络，去做问答，生成答案。
这个工作是基于神经符号处理的思想，其中包括长、短期记忆模块。假设来了一个问句，现在有编码器，可以把这个问句转化为内部表示，其中既有符号表示，又有向量表示，然后用这些表示去检索知识库。这个过程用神经网络来控制。这个工作主要的特点是得到的三元组可能是最好的三元组，根据问句的向量表示，检索到三元组的向量符号表示。
在下图中，左下方是根据语言的理解该生成什么，右边是从长期记忆里检索的结果，通过把两者结合来做判断。
第二个要介绍的是今年比较新的工作，叫做 Neural Enquirer and Symbolic Enquirer，与基于神经符号处理的思想非常一致。其中既有神经表示，又有符号表示。查询数据库是个非常复杂的过程，在这个工作中，我们希望把 Enquirer 做得非常好，真正去把问句的表示利用起来，很好地检索数据库。
怎么样把自然语言的描述转化为命令还是有一定的挑战，这个系统中有两个 Enquirer，一个是 Neural Enquirer，一个是 Symbolic Enquirer。数据库的查询操作用符号来表示，整个操作过程用神经网络来控制，通过三步就能把答案找到。我们可以把数据库查询分解成为最基本的操作，比如 argmax、select 等，可以定义一个命令的集合来组成命令，命令每次的操作是针对一列进行的。
Symbolic Enquirer 的特点是操作的过程全是符号，底层全是用神经网络去做。用端到端就能构建这样的系统，不需要任何人的参与。假设有大量的语法，就能学习神经网络，自动产生命令序列，访问数据库找到答案。另外一个对应的想法是 Neural Enquirer，同样的问句，逻辑上也要执行三步，我们全部用神经网络去实现。这一块用到五个 executor。
Symbolic Enquirer 在执行上很快，它的缺点是学习非常困难。Neural Enquirer 的优点是学习比较快，但执行上比较慢，相当于每次都要把数据库的表重新扫描一遍。自然的想法是将这两个 Enquirer Couple 起来，把两者的优点结合。学习的时候，先学 Neural Enquirer，学好了之后再让他去指导 Symbolic Enquirer，然后 Symbolic Enquirer 再去引导 Neural Enquirer，两个 Enquirer 互相帮助。
总结
下面我做一个简单的总结，今天我们畅想的是自然语言的未来，希望未来自然语言处理系统能慢慢实现长期记忆，能把深度学习和符号处理结合起来，发挥两者的优势。同时，我们也要更多地参考人脑的信息处理机制，未来把自然语言处理推到另一个高度。考虑有这样的智能问答系统，能看大量的文献，知识库，读取到重要的信息知识。目前业界正在做很多的相关工作，相信这在未来会是一个重要方向。
后续，李航研究员会以这次公开演讲的主题为契机，撰写长文来描述他眼中「人工智能的未来」，AI 科技评论也会第一时间关注。
推荐阅读学界 | 百度SVAIL推出高效问答模型GNR，比双向注意流快24.7倍
独家 | 今日头条实验室总监李磊博士做客AI科技评论，分享 NLP 的方向和未来
深度 | 能看图回答问题的AI离我们还有多远？Facebook向视觉对话进发
人工智能赛博物理操作系统
AI-CPS OS
“人工智能赛博物理操作系统”（新一代技术+商业操作系统“AI-CPS OS”：云计算+大数据+物联网+区块链+人工智能）分支用来的今天，企业领导者必须了解如何将“技术”全面渗入整个公司、产品等“商业”场景中，利用AI-CPS OS形成数字化+智能化力量，实现行业的重新布局、企业的重新构建和自我的焕然新生。
AI-CPS OS的真正价值并不来自构成技术或功能，而是要以一种传递独特竞争优势的方式将自动化+信息化、智造+产品+服务和数据+分析一体化，这种整合方式能够释放新的业务和运营模式。如果不能实现跨功能的更大规模融合，没有颠覆现状的意愿，这些将不可能实现。
领导者无法依靠某种单一战略方法来应对多维度的数字化变革。面对新一代技术+商业操作系统AI-CPS OS颠覆性的数字化+智能化力量，领导者必须在行业、企业与个人这三个层面都保持领先地位：
重新行业布局：你的世界观要怎样改变才算足够？你必须对行业典范进行怎样的反思？
重新构建企业：你的企业需要做出什么样的变化？你准备如何重新定义你的公司？
重新打造自己：你需要成为怎样的人？要重塑自己并在数字化+智能化时代保有领先地位，你必须如何去做？
AI-CPS OS是数字化智能化创新平台，设计思路是将大数据、物联网、区块链和人工智能等无缝整合在云端，可以帮助企业将创新成果融入自身业务体系，实现各个前沿技术在云端的优势协同。AI-CPS OS形成的数字化+智能化力量与行业、企业及个人三个层面的交叉，形成了领导力模式，使数字化融入到领导者所在企业与领导方式的核心位置：
精细：这种力量能够使人在更加真实、细致的层面观察与感知现实世界和数字化世界正在发生的一切，进而理解和更加精细地进行产品个性化控制、微观业务场景事件和结果控制。
智能：模型随着时间（数据）的变化而变化，整个系统就具备了智能（自学习）的能力。
高效：企业需要建立实时或者准实时的数据采集传输、模型预测和响应决策能力，这样智能就从批量性、阶段性的行为变成一个可以实时触达的行为。
不确定性：数字化变更颠覆和改变了领导者曾经仰仗的思维方式、结构和实践经验，其结果就是形成了复合不确定性这种颠覆性力量。主要的不确定性蕴含于三个领域：技术、文化、制度。
边界模糊：数字世界与现实世界的不断融合成CPS不仅让人们所知行业的核心产品、经济学定理和可能性都产生了变化，还模糊了不同行业间的界限。这种效应正在向生态系统、企业、客户、产品快速蔓延。
AI-CPS OS形成的数字化+智能化力量通过三个方式激发经济增长：
创造虚拟劳动力，承担需要适应性和敏捷性的复杂任务，即“智能自动化”，以区别于传统的自动化解决方案；
对现有劳动力和实物资产进行有利的补充和提升，提高资本效率；
人工智能的普及，将推动多行业的相关创新，开辟崭新的经济增长空间。
给决策制定者和商业领袖的建议：
超越自动化，开启新创新模式：利用具有自主学习和自我控制能力的动态机器智能，为企业创造新商机；
迎接新一代信息技术，迎接人工智能：无缝整合人类智慧与机器智能，重新
评估未来的知识和技能类型；
制定道德规范：切实为人工智能生态系统制定道德准则，并在智能机器的开
发过程中确定更加明晰的标准和最佳实践；
重视再分配效应：对人工智能可能带来的冲击做好准备，制定战略帮助面临
较高失业风险的人群；
开发数字化+智能化企业所需新能力：员工团队需要积极掌握判断、沟通及想象力和创造力等人类所特有的重要能力。对于中国企业来说，创造兼具包容性和多样性的文化也非常重要。
子曰：“君子和而不同，小人同而不和。” 《论语·子路》云计算、大数据、物联网、区块链和 人工智能，像君子一般融合，一起体现科技就是生产力。
如果说上一次哥伦布地理大发现，拓展的是人类的物理空间。那么这一次地理大发现，拓展的就是人们的数字空间。在数学空间，建立新的商业文明，从而发现新的创富模式，为人类社会带来新的财富空间。云计算，大数据、物联网和区块链，是进入这个数字空间的船，而人工智能就是那船上的帆，哥伦布之帆！
新一代技术+商业的人工智能赛博物理操作系统AI-CPS OS作为新一轮产业变革的核心驱动力，将进一步释放历次科技革命和产业变革积蓄的巨大能量，并创造新的强大引擎。重构生产、分配、交换、消费等经济活动各环节，形成从宏观到微观各领域的智能化新需求，催生新技术、新产品、新产业、新业态、新模式。引发经济结构重大变革，深刻改变人类生产生活方式和思维模式，实现社会生产力的整体跃升。
产业智能官 AI-CPS
用“人工智能赛博物理操作系统”（新一代技术+商业操作系统“AI-CPS OS”：云计算+大数据+物联网+区块链+人工智能），在场景中构建状态感知-实时分析-自主决策-精准执行-学习提升的认知计算和机器智能；实现产业转型升级、DT驱动业务、价值创新创造的产业互联生态链。
长按上方二维码关注微信公众号： AI-CPS，更多信息回复：
新技术：“云计算”、“大数据”、“物联网”、“区块链”、“人工智能”；新产业：“智能制造”、“智能农业”、“智能金融”、“智能零售”、“智能城市”、“智能驾驶”；新模式：“财富空间”、“数据科学家”、“赛博物理”、“供应链金融”。
官方网站：AI-CPS.NET
本文系“产业智能官”（公众号ID：AI-CPS）收集整理，转载请注明出处！
版权声明：由产业智能官（公众号ID：AI-CPS）推荐的文章，除非确实无法确认，我们都会注明作者和来源。部分文章推送时未能与原作者取得联系。若涉及版权问题，烦请原作者联系我们，与您共同协商解决。联系、投稿邮箱：[email protected]