visualizing higher-layer featrues of a deep network

文章主题:

给出了三种deep network 的特征可视化方法,两种为作者最新提出:activation maximization and sampling from a unit

一种方法前人已经提出:linear combination technique.

三种方法阐述:

activation maximization

利用梯度上升法,知道网络weight后求解使得使得第j层第i个神经元activation最大的输入样本x


sampling from a unit

DBN是一个生成模型,从上到下,令第j 层第i个神经元的激活函数值为0, 其他神经元激活函数值为1,反回去求解x


linear combination technique

unit 和它相连的previous layer的filter相关。待思考


结论:

不同权重初始化结果不影响最终得到的pattern.

深层的神经元确实学习到了抽象特征,在mnist数据集上测试时,DBM和SDAE第三层输出均对应于抽象的数字。

RBM在底层的时候学习到的特征也许不够稀疏,但是在深层情况下会学习到稀疏特征。

当图像分辨率增加,规模增大时,activation maximum 可能不会收敛到同一个global minimum。 同时,若同一神经元对应

多个pattern时,sampling方法不再适用。

linear combination technique 不易确定filter数量




你可能感兴趣的:(深度学习)