概念学习前沿报告

Reference[原文]: Joselynzhao.top & 夏木青 | 概念学习前沿报告

研究背景

人工智能离人类只能还很远
当前的人工智能技术更像是针对某一特定问题的算法或是统计分析
学习速度远远比不上人类的学习速度。

人工智能vs人类智能

样本效率低

以超越人类玩家的深度强化学习方法DQN为例，人类只进行两小时的学习，而DQN却使用了2亿帧的游戏数据，等效于924小时的游戏，并且平均每帧图像经验回放8次。

迁移、泛化能力差

AI难以适应物体形状颜色的改变
无论是修改场景中的物体形状、颜色，对人类几乎没有影响，但是机器学习算法难以适应

过于依赖监督

同样的游戏，稍微改变游戏的加分扣分规则，AI就难以适应任务目标的变动

在一些人类易解的问题上出错

典型例子是生成对抗样本，只需改变图片的一些像素，分类器就会把猫错误地识别成色拉酱，对抗样本防御已经是一个重要的研究方向，这方面的一个著名事件是ICLR2018的8篇对抗样本防御论文刚刚录用没多久，就被擅长攻击的人几乎全部攻破，形同虚设。

小结

• 现有机器学习方法很可能和人类在以不同的方式学习不同的知识
• 人类智能作为能够观测到的最强大智能，对其进行反向工程具有重要意义。
• 当前机器学习算法欠缺概念抽象的能力。

概念

概念是认知科学、认知心理学的研究对象

概念是人思维的基本单位
概念包括内涵和外延

概念与语言的关系

语言是概念的符号表示

• 典型地，概念由一个名词表示
• 非名词、词组或句子也可以表示一个广义的概念

概念一定程度上独立于语言使翻译成为可能
一门语言是对概念的一种自然划分

概念是范畴化的结果，是对特征的独特组合而形成的知识单元

概念的边界往往是模糊的
再复杂的范畴，都始于单一成员

• 新的成员不断加入，老的成员可能被去除

侯世达认为，人一生都在不停地类比，不断将新遇到的事物归属到一个旧的范畴或者一个新的范畴，具体还想了解的同学可以去看杨老师推荐的侯世达的《表象与本质》这本书。

人的学习是不断构建概念模型的过程

• 从直觉物理、直觉心理学等开始(start-up)
  人的学习就是一个不断构建模型的过程，认知科学认为，婴儿一开始先验地具备或是学习了一定的直觉物理、直觉心理学概念，而后接触的各种经验不断被抽象为更复杂的概念。

• 语义合成性(compositionality)
  抽象表示→基础表示→复杂表示
  概念模型的构建首先包括语义合成性，学会了简单的概念，可以通过组合学习更复杂的概念。
  比如图中的手写符号，是有各种基本笔画构成的。
  语义合成性允许重用有限数量的基础概念，产生各种场景需要的复杂概念，能够极大改善学习的样本效率和对监督地依赖。
  

• 因果律(causality)
  生成过程与环境模型
  概念模型的构建还包括因果律，因果律在模式识别问题中构建了物体的生成过程，在强化学习问题中构建了环境模型，它也可以表示概念与概念的关系。

• 学会学习(learning to learn)
  加速新概念、新任务的学习
  人是可以学会学习的，通过相关旧概念，旧任务的学习，或者通过平行地学习多个相关概念和任务，加速新概念和新任务的学习。
  概念作为人类思维的基本元素，是对经验知识的高度抽象，具有极强的迁移能力，是当前人类学习和机器学习方法的一个重要区别。

研究现状

研究概念学习的领域

人工智能-机器学习 目的侧重改进图像、语言具体任务学习算法的性能，或是机器学习算法的可解释性

计算认知科学-计算神经科学 目的是用计算模型模拟人的认知过程或是生物神经过程，以基础的任务作为验证

机器学习模型与概念的关系

判别模型(discriminative)

• 与概念的识别相似
• 没有显示的概念定义，不能从概念生成外延

分布模型(distributional)

• 通过条件概率模型识别概念，可以生成外延
• 难以实现概念的组合

生成模型(generative)

• 些生成模型采用了学习概念的思想
• 符号与图像互推断、基于属性的条件生成模型

前沿的生成模型是应用了概念学习的思想的，典型的例如，符号与图像的互相推断，可以把符号理解为概念的一种表示。
基于属性的条件生成模型，则具有概念的可组合特征。

贝叶斯方法

通过概率模型从特征空间学习概念
通过概率模型的层次组合实现语义合成性

• 组合过程仍然是概率模型

近期的代表性工作——概率程序归纳，将每一个概念模型作为一段概率的生成程序，进行层次组合，实现了手写字符的概念学习与生成，
例如先生成一些笔画的概念，再通过一些连接操作把他们组合起来，生成新的手写字符。
它生成的手写字符通过了图灵测试，发表在Science上。

优势

• 概率模型更好地处理噪声
• 概率模型更丰富地生成

生成模型与V2L任务

【……未完待续……】

能量模型方法

【……未完待续……】

基于能量模型的概念学习

【……未完待续……】

基于能量的模型

通过能量函数E(x,a,w)表示概念

能量函数结构

从示范事件学习概念

实验

总结

作者认为执行时优化在知识获得和生成、规划和抽象推理、通信中具有重要作用，这也与自由能原理不谋而合。未来工作将考虑更多的概念参数，考虑概念的递归，以及概念的组合，后者可以通过叠加能量函数实现

从能量模型进行采样的方法做了一些工作

不同于学习视觉输入中的概念，本文可以学习多实体之间的概念

本文从示范中学习概念(能量函数)，与逆向强化学习学习cost/-reward类似；从示范中生成概念，与生成对抗网络和模仿学习相似。但本文仅需学习能量函数，而不需要直接学习具体的策略，具备跨域迁移的优势

Free energy principle，自然界是有序到无序的熵增，生物体是维持有序的熵减少。例如人觉得鱼在天上不合常理可能是一个学习到的内在模型输入鱼在天上认为自由能过大，控制问题也可以理解为使自由能减少的过程。

参考文献

1. Human-level control through deep reinforcement learning[J]. Nature, 2015, 518(7540):529-533.
2. Lake B M , Ullman T D , Tenenbaum J B , et al. Building machines that learn and think like people[J]. Behavioral & Brain Sciences, 2016, 40:1.
3. Lake B M, Salakhutdinov R, Tenenbaum J B, et al. Human-level concept learning through probabilistic program induction[J]. Science, 2015, 350(6266): 1332-1338.
4. Higgins I, Sonnerat N, Matthey L, et al. SCAN: Learning Hierarchical Compositional Visual Concepts. ICLR. 2018.
5. Doersch, Carl. “Tutorial on variational autoencoders.” arXiv preprint arXiv:1606.05908 (2016).
6. Burgess, Christopher P., et al. “Understanding disentangling in $\beta $-VAE.” arXiv preprint arXiv:1804.03599 (2018).
7. Mordatch I . Concept Learning with Energy-Based Models[J]. ICLR Workshop. 2018.

特别鸣谢

感谢本篇博文的内容提供者：蔡中轩 · HPCL