visualizing higher-layer featrues of a deep network

文章主题：

给出了三种deep network 的特征可视化方法，两种为作者最新提出：activation maximization and sampling from a unit

一种方法前人已经提出：linear combination technique.

三种方法阐述：

activation maximization

利用梯度上升法，知道网络ｗｅｉｇｈｔ后求解使得使得第j层第i个神经元ａｃｔｉｖａｔｉｏｎ最大的输入样本x

sampling from a unit

ＤＢＮ是一个生成模型，从上到下，令第j 层第i个神经元的激活函数值为０，　其他神经元激活函数值为１，反回去求解x

linear combination technique

ｕｎｉｔ 和它相连的previous　ｌａｙｅｒ的ｆｉｌｔｅｒ相关。待思考

结论：

不同权重初始化结果不影响最终得到的ｐａｔｔｅｒｎ.

深层的神经元确实学习到了抽象特征，在mnist数据集上测试时，ＤＢＭ和ＳＤＡＥ第三层输出均对应于抽象的数字。

ＲＢＭ在底层的时候学习到的特征也许不够稀疏，但是在深层情况下会学习到稀疏特征。

当图像分辨率增加，规模增大时，ａｃｔｉｖａｔｉｏｎ　ｍａｘｉｍｕｍ　可能不会收敛到同一个ｇｌｏｂａｌ　ｍｉｎｉｍｕｍ。　同时，若同一神经元对应

多个ｐａｔｔｅｒｎ时，ｓａｍpling方法不再适用。

linear combination technique 不易确定ｆｉｌｔｅｒ数量