“神经+符号”：从知识图谱角度看认知推理的发展

                          原作者：2020.09 王昊奋

一、神经+符号发展历程

   在过去十年的人工智能浪潮中，以深度学习为代表的人工智能技术已基本实现了视觉、听觉等感知智能，但依然无法很好地做到思考、推理等认知智能。因此，具有推理、可解释性等能力的认知智能研究毫无疑问将越来越受到重视，成为未来人工智能领域重要的发展方向之一。
  研究人员的嗅觉无疑是最敏锐的。例如，ACM图灵奖获得者约书亚·本吉奥(Yoshua Bengio)在NeuIPS 2019的特邀报告中明确提到，深度学习需要从系统1(System 1)到系统2(System 2)转化。注：这里所说的System 1和System 2是指认知科学中的双通道理论，其中System 1表示直觉的、快速的、无意识的、非语言的、习惯的认知系统，这也是目前深度学习技术擅长的事情；System 2则表示慢的、有逻辑的、有序的、有意识的、可用语言表达以及可推理的系统，这是未来深度学习需要着重考虑的研究方向。
  神经系统擅长处理非结构化的数据（如文本等）。目前的主流模型以端到端为主，常见的应用场景有机器翻译、语音识别、简单问题智能问答（如，姚明的身高是多少？）等；而符号系统主要以结构化的数据库为主，且通常支持结构化的查询、推理引擎等，能够实现复杂问题的求解（如，美国是农业出口大国，为什么还要进口咖啡？）ACM图灵奖获得者莱斯利·瓦利安特(Leslie Valiant)曾精辟地指出：神经系统侧重对数据特征的学习过程，而符号系统包含的一定是一个搜索过程，后续大量面向符号系统的研究本质上致力于各种高效的搜索算法。神经系统可以轻松应对简单的视觉问答场景（如，图中有几只长颈鹿？），但是如果需要回答更复杂的问题（如，图中动物和斑马有哪些共同属性？），则必须借助外部的符号知识（如知识图谱）进行认知推理，才能完成求解过程。

二、技术手段

  神经助力符号(neural for symbolic)这类方法的特点在于将神经网络的方法应用在传统符号系统的问题求解，通常主要用来解决浅层次的推理问题。例如采用知识图谱表示学习(knowledge graph embedding)、图神经网络(Graph Neural Networks，GNN)等技术进行知识图谱的补全，其特点是用统计推理代替逻辑演绎；还有采用循环神经网络(Recurrent Neural Network,RNN)、图卷积神经网络(Graph Convolutional Network，GCN)等技术进行多跳智能问答
  符号神经(symbolic for neural)这类方法的特点在于将符号的方法应用在神经网络的训练过程中。例如，使用逻辑规则在深度神经网络中进行数据的编审(data curation)[6]；将知识图谱应用在远程监督、少样本、零样本的模型和场景中
  最近有一类研究叫做可解释的人工智能(explainable AI)[9]，其主要思想是利用知识图谱中的事实或规则，对神经网络训练过程中的行为进行解释，进而提高神经网络的可解释性。值得一提的是，清华大学唐杰等人最新提出的认知图谱，就是“神经+符号”与“System 1+System 2”在可解释人工智能方面的尝试，旨在用符号知识的表示、推理和决策来解决深度学习求解过程的黑盒问题。

三、展望

未来关于“神经+符号”的研究中可能涉及到的关键问题和挑战包括：

1. 知识的表示：建模多模态、时空、事件等非结构化数据的符号知识表达；
2. 推理的实用性和效率：将神经的方法用来实现深层推理或加速传统符号推理的效率；
3. 人在回路和可解释性：将专家或用户的反馈加入系统考虑并确保系统求解过程的可解释性。