Towards Data-and Knowledge-Driven Artificial Intelligence:A Survey on Neuro-Symbolic Computing阅读

思想:知识 数据 算法 算力结合起来

论文:Towards Data-and Knowledge-Driven Artificial Intelligence:A Survey on Neuro-Symbolic Computing

神经符号计算Neural-Symbolic computing

  • 两种主要的范式:symbolism和nectionism
  • symbol是人类智能的基本单位,认知过程是通过对符号规则约束和逻辑操作来完成。
  • nectionism最成功的技术是深度神经网络,从数据中学习统计规律
  • 神经符号计算 Neural-Symbolic compution是两种混合体,本质寻求两种基本认知能力的整合:学习(从经验中学习的能力)和推理(从所学知识中推理的能力)

1. NeSy早期研究成果

2. 心理学和认知科学的心理的一般概念(NeSy的理论基础)

2.1 理解和建模人类认知的理论愿望

    symbolic是在试图将知识和逻辑推理结构编码到机器中的过程中产生的。(演绎推理阵营),用对象属性关系来构造世界。

    nectionism是由如果我们能够用人工神经元模拟神经系统的解剖和生理学,那么智能将在计算机中得到发展这种信念产生的。(归纳学习阵营)

    人工神经网络看作大脑物理工作的抽象;符号逻辑被看作我们在思考现有的知识时和推理时所感知的抽象。

    人类的决策由两种不同的能力共同支持:1、快速思维:近乎瞬间、用于直觉不精确快速且基本上无意识的决策,相当于98%的思维。2、慢速思维:和主观经验,选择和注意力有关系,可以解决需要逻辑、顺序和算法思维的更加复杂的问题。决策过程先是能力1解决不了再开始能力2。此外能力2学习的解决方案供能力1稍后保存以便下次使用。一段时间后,一些最初只能通过能力2解决的可以由能力1解决。即,使用能力2可以校准能力1得到的解决方案,反过来促进能力2形成反馈。(发育能力)

2.2 深度学习和符号主义结合:两全其美

2.3 目前人工智能相关辩论

3. NeSy分类和现状

3.1 NeSy分类

3.2 神经符号集成

3.2.1 类型1:符号-神经-符号

    输入输出是符号,中间是神经网络,比如当前的大多是NLP系统。
Towards Data-and Knowledge-Driven Artificial Intelligence:A Survey on Neuro-Symbolic Computing阅读_第1张图片##### 3.2.2 类型2:符号[神经]
    整体是符号系统,其中神经模块在内部用作符号问题求解器中的子程序。
Towards Data-and Knowledge-Driven Artificial Intelligence:A Survey on Neuro-Symbolic Computing阅读_第2张图片

3.2.3 类型3:神经|符号

    神经和符号协作,
Towards Data-and Knowledge-Driven Artificial Intelligence:A Survey on Neuro-Symbolic Computing阅读_第3张图片

3.2.4 类型4:神经:符号->神经

    符号规则/知识被编译到神经网络的架构或训练机制中。
Towards Data-and Knowledge-Driven Artificial Intelligence:A Survey on Neuro-Symbolic Computing阅读_第4张图片

3.2.5 类型5:神经-符号-

    将符号知识转化为用于训练DNN的损失函数中的附加软约束。因此,知识被编译为神经网络的权重。比如逻辑张量网络(LTN)将一阶逻辑解释为实函数或张量运算,并将逻辑推理转换为训练目标。
Towards Data-and Knowledge-Driven Artificial Intelligence:A Survey on Neuro-Symbolic Computing阅读_第5张图片

3.2.6 类型6:神经[符号]

    将符号推理引擎直接嵌入神经引擎中。通过用张量演算模拟逻辑推理(通过神经网络的一系列方法学习符号运算的执行)
Towards Data-and Knowledge-Driven Artificial Intelligence:A Survey on Neuro-Symbolic Computing阅读_第6张图片

3.3 知识表示

    符号知识的表示方法可以分为两大类:基于知识图的和基于逻辑的,而基于逻辑的方法可以进一步分为两类:基于命题逻辑的和基于一阶逻辑的。

  1. 知识图:实体和关系组成,包含主语谓语宾语三元组
  2. 基于命题逻辑:所有的语句都由命题构成。命题是一个陈述性语句,要么是真的,要么是假的。命题逻辑研究通过逻辑连接词连接的命题之间的逻辑关系。DNN较容易实现。
  3. 基于一阶逻辑:用两个新的语言特征,即变量和量词来增强命题逻辑。变量被引入以指代特定类型的对象(即话语领域),并且可以被特定对象替代。通用量词(“∀”) 和存在量词(“∃”) 允许我们对物体进行量化。与DNN的有限性之间冲突。

3.4 功能

    既具有强大的逻辑推理能力,又具有表达统计学习能力。

4. NeSy的应用领域

  1. 科学发现,科学发现需要算法尊重现实世界的约束,并且可以被科学家解释和理解。符号回归,从数据中揭示分析方程
  2. 编程系统,NeSy结合了符号方法的优点,既考虑了高级推理又考虑了低级实现,这自然适合于程序生成。从语义上将自然语言和图形解析为源代码。
  3. 问答系统,一些模型通过构建场景图来弥合VQA中符号网络和神经网络之间的差距,如神经状态机(NSM)
  4. 机器人与控制,提出了神经符号程序搜索(NSPS),用于生成健壮且富有表现力的神经符号程序,以改进自动驾驶设计。与基于神经网络的驾驶设计相比,NSPS更稳定、更安全,保持了可解释的符号决策过程。
  5. 视觉场景理解,神经符号方法结合提取的视觉特征引入外部知识,以提高模型的鲁棒性和性能。
  6. 数学推理,将数学表达式表示为树,然后将树转换为序列,以训练序列到序列(seq2seq)模型。

5. 未来的研究方向

论文:
Garcez, A. d. et al. Neural-symbolic learning
and reasoning: A survey and interpretation.
Neuro-Symbolic Artificial Intelligence: The
State of the Art 342, 1 (2022)
神经符号学习与推理:调查与解释

Thinking fast and slow in
AI. Proceedings of the AAAI Conference on
Artificial Intelligence 15042–15046 (2021)
在人工智能中快速思考和缓慢思考。AAAI人工智能会议记录15042-15046(2021)

你可能感兴趣的:(人工智能,python)