李宏毅：capsule（胶囊网络）

1、capsule与neural的区别

neural的output是value，capsule的output是vector。

capsule的input可以是其它capsule的output。

neural是侦测某一个pattern，但是capsule是侦测某一类pattern，它输出的vector的每一个dimension代表pattern的特性，vector的长度代表了这某一类的pattern是否存在。

2、capsule的运作

（1）squash（挤压）只会改变s的长度，不会改变s的方向。c1和c2不是通过backpropogation学到的，而是在testing的时候online dynamic得到的。可以想象成maxpooling的进阶版。c1，c2不一定要是1或0，两者相加要是1。

（2）dynamic routing

通俗点讲就是outlier（离群点），如果某一个点与其它的点不像的话，它的weight就会越来越小。如下图所示，假设灰色的点与绿色和黄色的点长得很像的话，就会越来越靠近他们。

计算a1与u1和u2的相似程度，如果a1与u1比较相似，c11的weight就会增加，a1与u2比较相像，c12的weight就会增加，有了a1以后，就会去update你的c1，c2，有了新的c1和c2，就会去计算s2，然后得到a2。。。

（3）training

如下图，输入的是1这个图片，一共就有10个capsule，输出10个vector，希望这个network的||v1||的norm大一点，||v2||的norm小一点。还有一种是在vector后面加一个neural network，把10个vector串接，进行reconstruction（比如输进去的是1这个图片，那把v1乘1，其它vector乘0，再放入neural network中，吃某一个capsule的output，故意调整那个capsule的output的某一个diamention，那就可以知道这个diamention代表了什么样的特征：比如笔画的粗细，旋转等特征）。

3、capsule有什么好处

invariance：不变性，input不一样的东西的时候，输出一样的东西

equivariance：我们不希望input不一样的东西的时候，输出一样的东西，我们希望输出的是完全反映了现在看到的输入

比如下图：左边输入的是不一样的1，输出的都是1；右边输出的是对称的1.

capsule是有看到输入之间的差别（输出的vector是不一样的），只不过在最后取norm的时候没有用这个差别。