Capsule模型

1. Capsule的由来

Hinton 注意到的一个有趣的事实，目前大多数神经解剖学研究都支持（大部分哺乳类，特别是灵长类）大脑皮层中大量存在称为 Cortical minicolumn 的柱状结构（皮层微柱）， 其内部含有上百个神经元，并存在内部分层。这意味着人脑中的一层并不是类似现在NN的一层，而是有复杂的内部结构。Hinton用capsule表示这个柱状结构。

Hinton反对CNN的理由一：人的视觉会自动建立坐标框架，并且坐标框架的不同会极大得改变人们的认知。人类在识别的时候，有坐标系作为先验知识，而cnn却没有这样的类似坐标的东西表示。Hinton提出猜想：物体与观察者之间，应该有一整套的激活的神经元来表示，这样才可以表示出坐标。而这一整套的神经元就是capsule。

反对CNN的理由二：cnn目标不明确，主要问题在pooling上。pooling的目标是：内容发生较小的变化（平移、旋转等），它判定的结果不变。事实上，我们应该达到的目标是对内容很好的表示，而不是只追求结果。这就是invariance和equivariance的差别。

Hinton提出capsule可以解决这两个问题。

2. Capusle介绍

胶囊的大小代表这个实体（比如：可以有代表眼睛的胶囊）在图像中存在的概率，胶囊方向代表这个实体的性质（位置、方向、大小等）。胶囊之间的传播方式不是用反向传播，而是用“dynamic routing”。

通过非线形“squashing”的方式使得输出的capusle向量大小不超过1